华东师范大学：《高等数值分析（高性能计算/并行计算）》课程教学资源（讲义）01 并行计算介绍 Parallel and High Performance Computing（主讲：潘建瑜）

華束师免大学 案 EAST CHINA NORMAL UNIVERSITY 并行计算介绍 潘建瑜 MATH@ECNU 2023.02

并行计算介绍 潘建瑜 MATH@ECNU 2023.02

并行计算/高性能计算/超级计算 大任务 多个子任务 分解 分配 快速求解 合作 不同处理单元 串行计算， problom 并行计算引 problem instructions processor http://math.ecnu.edu.cn/~ivpan

http://math.ecnu.edu.cn/~jypan 并行计算/高性能计算/超级计算 大任务 分解 多个子任务 不同处理单元 分 配 快速求解 合作 串行计算 并行计算

并行计算研究内容和目标 研究内容 ·并行计算机的体系结构 ·并行算法设计与分析 并行实现技术：编程实现，优化性能 ·并行应用：开发并行应用软件 主要目标 (1)求解问题更快；(2)求解问题规模更大 http://math.ecnu.edu.cn/~jypan

http://math.ecnu.edu.cn/~jypan 并行计算研究内容和目标 7 研究内容 ► 并行计算机的体系结构 ► 并行算法设计与分析 ► 并行实现技术：编程实现，优化性能 ► 并行应用：开发并行应用软件 （1）求解问题更快；（2）求解问题规模更大 主要目标

并行计算基本条件 并行计算三要素 ·硬件：并行计算机/体系结构 ●算法：并行算法设计/应用问题的并行度 ●软件：并行编程环境/Linux/.Fortran/,C/C+/MPI/OpenMP 8 http://math.ecnu.edu.cn/~jypan

http://math.ecnu.edu.cn/~jypan 并行计算基本条件 8 并行计算三要素  硬件：并行计算机/体系结构  算法：并行算法设计/应用问题的并行度  软件：并行编程环境/Linux/Fortran/C/C++/MPI/OpenMP

华东师范大学数学科学学院 School of Mathematical Sciences,ECNU 陳 学 学 并行计算机 省 周 世 國紀 1 —一体系结构与发展历史 目录 Contents http://math.ecnu.edu.cn/~jypan

华东师范大学 数学科学学院 School of Mathematical Sciences, ECNU http://math.ecnu.edu.cn/~jypan 目录 Contents —— 体系结构与发展历史 并行计算机 1

并行计算机 口 从硬件角度讲，当前所有计算机都可以被认为是并行的 多功能单元、多执行单元、多硬件线程 Core Core LI D-cache L1 D cache L2 Cache L2 Cache IBM BG/Q Compute Chip Intel Xeon processor L3 Cache Main Memory 10 http://math.ecnu.edu.cn/~jypan

http://math.ecnu.edu.cn/~jypan 并行计算机 10  从硬件角度讲，当前所有计算机都可以被认为是并行的 多功能单元、多执行单元、多硬件线程 IBM BG/Q Compute Chip Intel Xeon processor

并行计算机 CRAY ￥OAKRIC OENE罪GY =3 Hev lett Pac card Ente rprise AMD Frontier,,处理器核芯：1,110,144个 ￥OAK RIDGE National Laboratory 神威太湖之光，处理器核芯：10,649,600个 神版 http://math.ecnu.edu.cn/~jypan

http://math.ecnu.edu.cn/~jypan 并行计算机 11 Frontier, 处理器核芯：1,110,144个 神威太湖之光, 处理器核芯：10,649,600个

华东师范大学数学科学学院 School of Mathematical Sciences,ECNU 并行计算机架构 ·共享内存系统 ·分布式内存系统 ·混合内存系统 http://math.ecnu.edu.cn/~ivpan

华东师范大学 数学科学学院 School of Mathematical Sciences, ECNU http://math.ecnu.edu.cn/~jypan ►共享内存系统 ►分布式内存系统 ►混合内存系统 并行计算机架构

并行计算机架构一共享内存 口共享内存系统 ●统一内存寻址：所有处理器以全局寻址的方式访问所有的内存空间。 对称多处理器机器(Symmetric Multi--processor,SMP,左图) CPU CPU CPU Memory Memory CPU CPU CPU CPU Memory Bus Interconnect CPU CPU CPU CPU Memory C CPU CPU CPU CPU Memory 非统一内存寻址：由多个物理上相连的SMP组成，每个SMP都可以访问 其它SMP的内存，但访问是有差别的（右图） 13 http://math.ecnu.edu.cn/~jypan

http://math.ecnu.edu.cn/~jypan 并行计算机架构 – 共享内存 13  共享内存系统  统一内存寻址：所有处理器以全局寻址的方式访问所有的内存空间。 对称多处理器机器（Symmetric Multi-processor，SMP，左图）  非统一内存寻址：由多个物理上相连的 SMP 组成，每个 SMP 都可以访问 其它 SMP 的内存，但访问是有差别的（右图）

并行计算机架构一共享内存 共享内存优点 (1)全局地址空间提供了一种用户友好的编程方式 (2)内存与CPU的物理连接使得任务之间的数据共享既快速又统一 共享内存缺点 内存和CPU之间缺少较好的可扩展性，过多CPU会大幅增加缓存 和内存管理的负担（几何级别） 14 http://math.ecnu.edu.cn/~ivpan

http://math.ecnu.edu.cn/~jypan 并行计算机架构 – 共享内存 14 共享内存优点 （1）全局地址空间提供了一种用户友好的编程方式 （2）内存与 CPU 的物理连接使得任务之间的数据共享既快速又统一 共享内存缺点 内存和 CPU 之间缺少较好的可扩展性，过多 CPU 会大幅增加缓存 和内存管理的负担（几何级别）