高性能计算机和曙光GHPC1000集群系统

高性能计算机和曙光GHPC1000集 群系统 技术支持中心张新凤 曙光信息产业(北京)有限公司 乡 嗜光 DAWNING 高性能计算专业委员会

高性能计算机和曙光GHPC1000集 群系统 技术支持中心 张新凤 曙光信息产业（北京）有限公司

DAWNING 乡 曙光 DAWNING 科拔计算未来 目录 1高性能计算简介 1.1什么是高性能并行计算机 1.2流行的高性能计算机架构 -1.3集群技术的趋势 ·2本项目GHPC1000集群系统介绍

目 录 • 1 高性能计算简介 –1.1 什么是高性能并行计算机 –1.2 流行的高性能计算机架构 –1.3 集群技术的趋势 • 2 本项目GHPC1000集群系统介绍

DAWNING 乡 曙光 DAWNING 科拔计算未来 1.1什么是高性能并行计算机 由众多部件组成,具有运算速度快、存储容量大、可 靠性高的特性。 也称为:巨型计算机、超级计算 机 目前任何高性能计算和超级计算 都离不开使用并行技术,所以高 性能计算机肯定是并行计算机

1.1 什么是高性能并行计算机 由众多部件组成，具有运算速度快、存储容量大、可 靠性高的特性。 也称为：巨型计算机、超级计算 机 目前任何高性能计算和超级计算 都离不开使用并行技术，所以高 性能计算机肯定是并行计算机

DAWNING 乡 曙光 DAWNING 科拔计算未来 1.2流行的高性能计算机架构 ●并行向量机 ●SMP ●DSM(NUMA) MPP,节点可以是单处理器的节点,也可以是SMP, DSM ● Cluster ●混合架构

1.2 流行的高性能计算机架构 ⚫ 并行向量机 ⚫ SMP ⚫ DSM（NUMA） ⚫ MPP，节点可以是单处理器的节点，也可以是SMP， DSM ⚫ Cluster ⚫ 混合架构

DAWNING 乡 曙光 DAWNING 19932006年高性能计算机在ToP500中的变化 Architectures/ Systems 500 Others SIMD Constellations Cluster SMP 350 MPP 200 100 50 0 感邕⑧罾§§急§昌 12112006 hp:www.top500。四

1993—2006年 高性能计算机在TOP500中的变化

DAWNING 乡 曙光 DAWNING 科拔计算未来 1.3集群技术的趋势 MPP/PVP在构造大规模系统,应用饱和性能方面具有优 势,资金充足的依然会选择; 大型的CC-NUMA系统将逐渐走向衰落:它的优势是大物 理内存,大量CPU共享内存的高效编程对用户是一件困难 的事;大规模并行计算的效率问题;不适合构造更大的系 统;价格高,优势丧失; ·SMP系统存在访存瓶颈,导致可扩展性的限制,不能用 于构建更大的并行机器(64路以上) 集群系统由于无可比拟的性价比优势占据主流位置

1.3 集群技术的趋势 • MPP/PVP在构造大规模系统，应用饱和性能方面具有优 势，资金充足的依然会选择 ； • 大型的CC-NUMA系统将逐渐走向衰落：它的优势是大物 理内存，大量CPU共享内存的高效编程对用户是一件困难 的事；大规模并行计算的效率问题；不适合构造更大的系 统；价格高，优势丧失； • SMP系统存在访存瓶颈，导致可扩展性的限制 ，不能用 于构建更大的并行机器（64路以上） • 集群系统由于无可比拟的性价比优势占据主流位置

DAWNING 乡 曙光 DAWNING 科拔计算未来 目录 1高性能计算简介 2本项目GHPC1000集群系统介绍

• 1 高性能计算简介 • 2 本项目GHPC1000集群系统介绍 目 录

DAWNING 乡 曙光 DAWNING 设计目标及设计思路 计算未来 基于通用CPU+专用GPU的高性能计算集群 >GPU峰值速度:183 TFlops(单精度) 高性能、高可靠的高性能计算平台

设计目标及设计思路 ➢ 基于通用CPU + 专用GPU的高性能计算集群 ➢ GPU峰值速度：183TFlops(单精度) ➢ 高性能、高可靠的高性能计算平台

DAWNING 乡 曙光 DAWNING 科拔计算未来 系统整体配置 节点 水冷和支撑系统: √计算节点1(A620rT):43×2=86台 GPU显卡:GTX295 √水冷机柜 6个 √计算节点2(A620rT):16×2=32台 GPU显卡:C1060 控制系统系统: √IO节点(A620-H):1台 SKVM系统1 存储: √集群控制台 套套 ′DS6310EE1台 软件系统: 容量 16TB 操作系统 网络: √ Gridview管理系统 √计算网: Powerconf节能软件系统 Infiniband1套 GNU编译器 36口B交换机1台 96口IB交换机1台 √并行环境 20GbIB网卡119块 CUDA开发环境 √管理网 详见配置表 千兆以太网1套 48口交换机3台

系统整体配置 ➢ 节点： ✓ 计算节点1(A620r-T)： 43×2=86台 GPU显卡：GTX295 ✓ 计算节点2(A620r-T)： 16×2=32台 GPU显卡：C1060 ✓ IO节点(A620-H)：1台 ➢ 存储： ✓ DS6310EE 1台 ✓ 容量： 16TB ➢ 网络： ✓ 计算网： Infiniband 1套 36口IB交换机 1台 96口IB交换机 1台 20Gb IB 网卡 119块 ✓ 管理网： 千兆以太网 1套 48口交换机 3台 ➢ 水冷和支撑系统： ✓ 水冷机柜 6个 ➢ 控制系统系统： ✓ SKVM 系统 1套 ✓ 集群控制台 1套 ➢ 软件系统： ✓ 操作系统 ✓ GridView管理系统 ✓ Powerconf节能软件系统 ✓ GNU编译器 ✓ 并行环境 ✓ CUDA开发环境 详见配置表

DAWNING 乡 曙光 DAWNING 科拔计算未来 系统整体拓扑图 86个GPU计算节点 32个GPU计算节点 96端口交换机 氏兆交换机 36端口D交机 IB线缆 0节点 千兆线缆 SAS线缆 磁盘阵列 三目目

系统整体拓扑图