西安电子科技大学：《并行计算》课程教学资源（课件讲稿）并行计算机系统结构（第二部分）

《并行计算：Parallel Computing.》 结构编程算法应用 §2.1并行计算机系统结构模型 (第二部分) 徐悦牲Yueshen Xu) ysxu@xidian.edu.cn 软件工程系 西安电子科技大学

§2.1 并行计算机系统结构模型 （第二部分） 徐悦甡(Yueshen Xu) ysxu@xidian.edu.cn 软件工程系 西安电子科技大学 《并行计算：Parallel Computing》 结构 编程 算法 应用

本节提纲 历些毛子科枚大》 XIDIAN UNIVERSITY ▣并行计算机访存模型 ■均匀存储访问与非均匀存储访问 ■高速缓存存储访问 从存储器的角度 ■非远程存储访问模型等 ■体系结构与访存模型的关系 ▣并行计算机性能测评 ■并行计算机的基本性能指标 讨论一部分 ■加速比性能测评 ■可扩展性性能测评

并行计算机访存模型  均匀存储访问与非均匀存储访问  高速缓存存储访问  非远程存储访问模型等  体系结构与访存模型的关系 本节提纲 从存储器的角度 并行计算机性能测评  并行计算机的基本性能指标  加速比性能测评  可扩展性性能测评 讨论一部分 2

上节课回顾 历粤毛子种枝大等 XIDIAN UNIVERSITY →并行计算机体系结构模型汇总 ▣各实现形式比对 P/C P/C MB P/C P/C 交叉开关 总线或交叉开关 LM NIC NIC SM SM SM SM SM I/O PVP SMP 定制网络 MB MB P/C P/O MB MB MPP P/C P/C LM M M Bridge DIR DIR Bridge OB 定制网络 商品网络（以太网，ATM,etc.) DSM Cow

上节课回顾 并行计算机体系结构模型汇总 VP SM 交叉开关 PVP VP VP SM SM P/C SM SM I/O 总线或交叉开关 SMP P/C P/C P/C LM NIC 定制网络 MPP P/C LM NIC MB MB P/C LM NIC DIR MB 定制网络 DSM P/C LM NIC DIR MB LD P/C M MB IOB COW LD P/C M MB IOB 商品网络(以太网，ATM，etc.) Bridge NIC NIC Bridge  各实现形式比对 5

并行计算机体系结构汇总 历些莞子种拔大多 XIDIAN UNIVERSITY ▣各并行计算机结构特性（比较） 属性 SIMD PVP SMP MPP DSM COW 同构性 SIMD MIMD MIMD MIMD MIMD MIMD 同步性 指令级 异步 异步 异步 异步 异步 同步 或弱同步 或弱同步 或弱同步 或弱同步 或弱同步 通信机制 数据并行 共享变量 共享变量 消息传递 共享变量 消息传递 地址空间 单空间 单空间 单空间 多空间 单空间 多空间 访存模型 UMA UMA UMA NORMA NUMA NORMA 互连网络 定制 交叉开关 总线或 交叉开关 定制 定制 商用 6

并行计算机体系结构汇总 属性 SIMD PVP SMP MPP DSM COW 同构性 SIMD MIMD MIMD MIMD MIMD MIMD 同步性 指令级 同步 异步 或弱同步 异步 或弱同步 异步 或弱同步 异步 或弱同步 异步 或弱同步 通信机制 数据并行 共享变量 共享变量 消息传递 共享变量 消息传递 地址空间 单空间 单空间 单空间 多空间 单空间 多空间 访存模型 UMA UMA UMA NORMA NUMA NORMA 互连网络 定制 交叉开关 总线或 交叉开关 定制 定制 商用 各并行计算机结构特性（比较） 6

并行计算机访存模型 历些毛子种枝大学 XIDIAN UNIVERSITY Vs.体系结构 口常见的并行计算机访存模型 UMA (Uniform Memory Access), 均匀存储访问模型 NUMA(Non-uniform Memory Access), 非均匀存储访问模型 五种常见 COMA(Cache-Only Memory Access), 的并行计 结构越来 全高速缓存存储访问 算机访存 越复杂 模型 CC-NUMA (Coherent-Cache Non- uniform Memory Access), 高速缓存一致性非均匀存储访问 NORMA (No-Remote Memory Access),非远程存储访问

并行计算机访存模型 常见的并行计算机访存模型 vs. 体系结构 五种常见 的并行计 算机访存 模型 UMA（Uniform Memory Access）， 均匀存储访问模型 CC-NUMA（Coherent-Cache Non￾uniform Memory Access）， 高速缓存一致性非均匀存储访问 NUMA(Non-uniform Memory Access)， 非均匀存储访问模型 COMA(Cache-Only Memory Access)， 全高速缓存存储访问 NORMA（No-Remote Memory Access），非远程存储访问 结构越来 越复杂 7

并行计算机访存模型 历些毛子科枝大》 XIDIAN UNIVERSITY UMA (Uniform Memory Access) ■均匀存储访问模型 处理器 P1 P2 系统互连 (总线，交叉开关，多级网络) l/0 SM1 SMm 共享存储器 ■物理存储器被所有处理器均匀共享 ■所有处理器访问任何存储所用时间相同 ■每台处理器可带私有高速缓存 8

并行计算机访存模型 UMA（Uniform Memory Access）  均匀存储访问模型  物理存储器被所有处理器均匀共享 P1 P2 Pn I/O SM1 SMm 共享存储器 处理器 （ ） 系统互连 总线 , 交叉开关 , 多级网络 8  所有处理器访问任何存储所用时间相同  每台处理器可带私有高速缓存

并行计算机访存模型 历些毛子种枝大等 XIDIAN UNIVERSITY NUMA(Non-uniform Memory Access) ■非均匀存储访问模型 >被共享的存储器在物理上分布在所有的处理器中，所有本地存储器的集合 组成了全局地址空间 >处理器访问存储器的时间不同 访问本地存储器LM或群内共享存储器CSM较快，而访问外地的存储器 或全局共享存储器GSM较慢 >此即非均匀存储访问名称的由来 LM GSM Global Shared Memory 互 CSM Cluster Shared Memory LM 连网 模型一，名词解释→ LM Local Memory LM P Processor 共享本地存储模型 9

并行计算机访存模型 NUMA(Non-uniform Memory Access)  非均匀存储访问模型 LM1 P1 LM2 P 2 LMn Pn 互 连 网 络 共享本地存储模型 ... ... 模型一，名词解释  LM = Local Memory P = Processor ➢ 处理器访问存储器的时间不同 - 访问本地存储器LM或群内共享存储器CSM较快，而访问外地的存储器 或全局共享存储器GSM较慢 GSM = Global Shared Memory CSM = Cluster Shared Memory 9 ➢ 此即非均匀存储访问名称的由来 ➢ 被共享的存储器在物理上分布在所有的处理器中，所有本地存储器的集合 组成了全局地址空间

并行计算机访存模型 历些毛子件枝大 XIDIAN UNIVERSITY ■非均匀存储访问模型(NUMA),模型二 GSM GSM GSM 模型二，名词解释→ 全局互连网络 GSM Global Shared Memory CSM Cluster Shared Memory CIN Cluster Interconnection P CSM P CSM Network P=Processor C CSM P e CSM I N N CSM P CSM 群1 群V 层次式机群模型 10

并行计算机访存模型  非均匀存储访问模型 (NUMA)，模型二 全局互连网络 层次式机群模型 GSM GSM ... GSM P C I N CSM P P CSM CSM 群1 P CSM 群N P P CSM CSM ... ... ... ... C I N 模型二，名词解释  GSM = Global Shared Memory CSM = Cluster Shared Memory CIN = Cluster Interconnection Network P = Processor 10

并行计算机访存模型 历粤毛子种技大” XIDIAN UNIVERSITY COMA(Cache-Only Memory Access) ■全高速缓存存储访问 >各处理器节点中没有复杂的存储层次结构，全部高速缓存组成了全局地址 空间 >利用分布的高速缓存目录D进行远程高速缓存的访问 > 使用COMA时，数据开始时可任意分配，因为在运行时它最终会被迁移 到需要使用它们的地方 名词解释→ 互连网络 D=Directory C=Cache D D D P Processor P

并行计算机访存模型 COMA(Cache-Only Memory Access)  全高速缓存存储访问 互连网络 D C P D C P D C P 名词解释  D = Directory C = Cache P = Processor ➢ 各处理器节点中没有复杂的存储层次结构，全部高速缓存组成了全局地址 空间 11 ➢ 利用分布的高速缓存目录D进行远程高速缓存的访问 ➢ 使用COMA时，数据开始时可任意分配，因为在运行时它最终会被迁移 到需要使用它们的地方

并行计算机访存模型 历些毛子种技大学 XIDIAN UNIVERSITY CC-NUMA (Coherent-Cache Nonuniform Memory Access) ■高速缓存一致性非均匀存储访问模型 >大多数使用基于目录的高速缓存一致性协议 >保留SMP结构易于编程的优点，也改善常规SMP的可扩放性 节点1 节点N SMP Symmetric Multi-processor P/C P/C Mem P/C P/C Mem DSM Distributed 总线或交叉开关 总线或交叉开关 Shared-Memory RC Remote Cache I/O NIC DIR,RC l/0 NIC,DIR,RC NIC Network Interface Circuitry 系统互连网路 DIR=高速缓存目录 12

并行计算机访存模型  CC-NUMA（Coherent-Cache Nonuniform Memory Access）  高速缓存一致性非均匀存储访问模型 I/O NIC,DIR,RC 系统互连网路 P/C P/C Mem I/O NIC,DIR,RC P/C P/C Mem 节点 1 节点 N 总线或交叉开关 总线或交叉开关 SMP = Symmetric Multi-processor DSM = Distributed Shared-Memory RC = Remote Cache NIC = Network Interface Circuitry DIR = 高速缓存目录 ➢ 大多数使用基于目录的高速缓存一致性协议 ➢ 保留SMP结构易于编程的优点，也改善常规SMP的可扩放性 12