《计算机系统结构》课程教学资源（PPT课件讲稿）第八章 多计算机系统

第八章多计算机系统 81集群计算机系统结构 8.2典型集群系统实例 83MPP系统 84网格技术 85网格实例

第八章 多计算机系统 8.1 集群计算机系统结构 8.2 典型集群系统实例 8.3 MPP系统 8.4 网格技术 8.5 网格实例

第一节集群计算机系统结构 集群系统就是多个独立计算机的集合。 本节将从集群系统的基本概念开始,对集群系 统的结构、集群系统的特点、集群间通信、集 群间资源管理和任务调度以及集群间并行程序 设计环境等问题分别进行介绍 y

第一节 集群计算机系统结构 集群系统就是多个独立计算机的集合。 本节将从集群系统的基本概念开始，对集群系 统的结构、集群系统的特点、集群间通信、集 群间资源管理和任务调度以及集群间并行程序 设计环境等问题分别进行介绍

1.集群系统的基本概念和结构 集群系统由将多个高性能的工作站或高 档微型计算机,使用高性能网络互连在 一起,协同完成特定的并行任务.s 它是一种造价低廉、易于构建且具有较 好可扩放性的体系结构。集群系统中的 主机和网络可以是同构的,也可以是异 构的。下图为一个包含四节点的集群系 统

1. 集群系统的基本概念和结构 集群系统由将多个高性能的工作站或高 档微型计算机，使用高性能网络互连在 一起，协同完成特定的并行任务. 它是一种造价低廉、易于构建且具有较 好可扩放性的体系结构。集群系统中的 主机和网络可以是同构的，也可以是异 构的。下图为一个包含四节点的集群系 统

[CpUHCacheh CPU Cache □在储器 存储 Nc]匚PI NI PCI 交换机 CPU Cache CPU Cache 在储器 PCI NIC PCI 构成集群的每台计算机都被称为一个结点。每个结点 都是一个完整的系统,拥有本地磁盘和自己的完整的 操作系统。除了PC外,集群的结点还可以是工作站, 甚至是规模较大的对称多处理机

交换机 CPU Cache 存储器 NIC PCI CPU Cache 存储器 NIC PCI CPU Cache 存储器 NIC PCI CPU Cache 存储器 NIC PCI 构成集群的每台计算机都被称为一个结点。每个结点 都是一个完整的系统，拥有本地磁盘和自己的完整的 操作系统。除了PC外，集群的结点还可以是工作站， 甚至是规模较大的对称多处理机

集群的每个结点一般通过商品化网络连接在一起,如以 太网、 FDDI Myrinet等,部分商用集群也采用专用网 络连接,如 SP Switch, Crossbar等。刚络接口与结点 IO总线以松散耦合的方式相连,如图中的NIC与PCI 从结构上看,集群系统属于分布存储系统,由 建立在通用操作系统之上的并行编程环境完成 系统的资源管理及相互协作,同时也屏蔽工作 站和网络的异构性。对程序员和用户来说,集 群系统是一个整体的并行系统。集群系统中的 结点机间采用消息传递方式通信

集群的每个结点一般通过商品化网络连接在一起，如以 太网、FDDI、Myrinet等，部分商用集群也采用专用网 络连接，如SP Switch，Crossbar等。网络接口与结点 I/O总线以松散耦合的方式相连，如图中的NIC与PCI。 从结构上看，集群系统属于分布存储系统，由 建立在通用操作系统之上的并行编程环境完成 系统的资源管理及相互协作，同时也屏蔽工作 站和网络的异构性。对程序员和用户来说，集 群系统是一个整体的并行系统。集群系统中的 结点机间采用消息传递方式通信

2.集群系统的特点 与传统并行计算机系统相比,集群系统 具有许多优点: 系统开发周期短 可靠性高 可扩缩性强 性价比高 用户编程方便

2. 集群系统的特点 与传统并行计算机系统相比，集群系统 具有许多优点： ▪ 系统开发周期短 ▪ 可靠性高 ▪ 可扩缩性强 ▪ 性价比高 ▪ 用户编程方便

集群不足之处 由于集群由多台完整的计算机组成,它的维护 相当于要同时管理多个计算机系统,因此维护 工作量较大,维护费用也较高。对称多处理机 则相对较好,因为管理员只要维护一个计算机 系统即可。正因为如此,现在很多集群采用对 称多处理机作为结点,这样可以减少结点数量, 从而减少维护工作量和降低开支。 y

集群不足之处： 由于集群由多台完整的计算机组成，它的维护 相当于要同时管理多个计算机系统，因此维护 工作量较大，维护费用也较高。对称多处理机 则相对较好，因为管理员只要维护一个计算机 系统即可。正因为如此，现在很多集群采用对 称多处理机作为结点，这样可以减少结点数量， 从而减少维护工作量和降低开支

3.集群系统的通信技术 (1)现有集群一般是使用商用以太网连接,通信 协议使用的TCPP集群通信具有以下缺点: 多层结构的TCP/CP协议处理开销大 UESTC 网络通信频宽低 协议复杂的缓冲管理增加了网络延迟 操作系统的额外开销

3. 集群系统的通信技术 (1)现有集群一般是使用商用以太网连接，通信 协议使用的TCP/IP.集群通信具有以下缺点： ▪ 网络通信频宽低 ▪ 多层结构的TCP/ICP协议处理开销大 ▪ 协议复杂的缓冲管理增加了网络延迟 ▪ 操作系统的额外开销

(2)提高集群通信效率的方法 采用新型高速网络以提高网络通信频宽 目前出现了多种新型的高速网络,如共享介质 型的快速以太网和基 ATM和 设计新的通信协议以降低通信延迟Us Myrinet,极大地提高了通信频宽 g在甩户窒现通信热议接型网硬件设 行必要 作 减少通 贝次数 爵谞箅第挛薹镯γ忿劭援黍錾熠鹞要 际应用需求来设计,减少伤议不必要的冗茶

(2) 提高集群通信效率的方法 ▪ 采用新型高速网络以提高网络通信频宽 目前出现了多种新型的高速网络，如共享介质 型的快速以太网和基于开关型的ATM和 Myrinet，极大地提高了通信频宽。 ▪ 设计新的通信协议以降低通信延迟 ①在用户空间实现通信协议:直接对网络硬件设 备进行必要的操作，减少通信数据的拷贝次数， 提高通信效率；二是减少对操作系统调用的额 外时间开销；三是用户态协议可根据用户的实 际应用需求来设计，减少协议不必要的冗余

②精简通信协议。第一方面是功能的精简,删除 不必要的功能呢,第二方面是协议层次的精简, 合并协议各层的功能呢,使得通信协议变为一 层,以达到减少数据传输次数的目的。 ③ Active Message通信机制 Active Message是消息驱动的异步通信方式。 Active Message的通信原理如下:

②精简通信协议。第一方面是功能的精简，删除 不必要的功能呢，第二方面是协议层次的精简， 合并协议各层的功能呢，使得通信协议变为一 层，以达到减少数据传输次数的目的。 ③Active Message通信机制 Active Message是消息驱动的异步通信方式。 Active Message的通信原理如下：