哈尔滨工业大学：《并行处理与体系结构》课程教学资源（PPT课件讲稿）第二章 并行编程基础（2.3）并行性问题

第2章并行编程基础 1并行编程综述 {2进程任务和线程 a3并行性问题 24交互和通信问题 哈尔滨工业大学计算机科学与技术学院

哈尔滨工业大学计算机科学与技术学院 第2章 并行编程基础 ◼ 1 并行编程综述 ◼ 2 进程任务和线程 ◼3 并行性问题 ◼ 4 交互和通信问题

3并行性问题 并行编程带来的许多额外问题。 重点讨论在用户程序中由于对并 行性所作的说明而引起的问题。 哈尔滨工业大学计算机科学与技术学院

哈尔滨工业大学计算机科学与技术学院 3 并行性问题 ◼并行编程带来的许多额外问题。 ◼重点讨论在用户程序中由于对并 行性所作的说明而引起的问题

、进程中的同构性 指并行程序中各分进程的类似性。 有3种可能的基本类似: SPMD a在单程序多数据(SPMD)程序中的分进程是同 构的。因为多个进程在不同的数据范畴内执 行相同代码。 MPMD 口在多程序多数据MPMD)程序中的分进程 是异构的。因为多个进程可以执行不同 代码。 哈尔滨工业大学计算机科学与技术学院

哈尔滨工业大学计算机科学与技术学院 ◼一、进程中的同构性 ◼ 指并行程序中各分进程的类似性。 ◼ 有3种可能的基本类似： ◼ SPMD： ❑ 在单程序多数据(SPMD)程序中的分进程是同 构的。因为多个进程在不同的数据范畴内执 行相同代码。 ◼ MPMD： ❑ 在多程序多数据(MPMD)程序中的分进程 是异构的。因为多个进程可以执行不同 代码

SPMD和MPMD程序,两者都是MMD类 型的。 SIMD: SMD程序与SPMD有区别,SIMD程序 是SPMD程序的一个特例。 将着重MPMD程序的研究。 哈尔滨工业大学计算机科学与技术学院

哈尔滨工业大学计算机科学与技术学院 ◼ SPMD和MPMD程序，两者都是MIMD类 型的。 ◼ SIMD： ◼ SIMD程序与SPMD有区别，SIMD程序 是SPMD程序的一个特例。 ◼将着重MPMD程序的研究

数据并行程序一是指SPMD程序,尤 其是此程序只用数据并行构造(如 Fortran90中所采用的)时。 功能并行程序(也称为任务并行或控 制并行程序)一通常是MPMD程序的同 义词。 在一个并行程序中,MPMD(功能并行) 和SPMD(数据并行)风格可以混合使 用。 哈尔滨工业大学计算机科学与技术学院

哈尔滨工业大学计算机科学与技术学院 ◼ 数据并行程序--是指SPMD程序，尤 其是此程序只用数据并行构造(如 Fortran90中所采用的)时。 ◼ 功能并行程序(也称为任务并行或控 制并行程序)--通常是MPMD程序的同 义词。 ◼ 在一个并行程序中，MPMD(功能并行) 和SPMD(数据并行)风格可以混合使 用

1.并行块( parallel block) 表达MPMD程序的方法是: 使用 parbegin和 parend构造。 这种结构化的构造最初是由 DYkstra提议的,也称为 cobegin 和 coend。 哈尔滨工业大学计算机科学与技术学院

哈尔滨工业大学计算机科学与技术学院 ◼ 1.并行块(parallel block) ◼表达MPMD程序的方法是： ◼使用parbegin和parend构造。 ◼这种结构化的构造最初是由 DUkstra提议的，也称为cobegin 和coend

Parbegin $1, S2 Sn Parend 当并行块执行时,它的n个分进程 s1,s2,…,sn就开始同时执行。 它们的执行是互相独立的,以不 同速率进行。 当所有n个分进程终止时,并行块 也就终止。 哈尔滨工业大学计算机科学与技术学院

哈尔滨工业大学计算机科学与技术学院 Parbegin S1，S2，…，Sn Parend ◼当并行块执行时，它的n个分进程 S1，S2，…，Sn就开始同时执行。 ◼它们的执行是互相独立的，以不 同速率进行。 ◼当所有n个分进程终止时，并行块 也就终止

2、并行循环( Parallel loop) 当并行块中的所有进程共享相 同代码时,用一个称为并行循 环的速记记号来标明并行块如 下 哈尔滨工业大学计算机科学与技术学院

哈尔滨工业大学计算机科学与技术学院 ◼ 2、并行循环(Parallel loop) ◼当并行块中的所有进程共享相 同代码时，用一个称为并行循 环的速记记号来标明并行块如 下：

Parbegin Process(1)…… Process(n) Paren 可简化成如下的并行循环: Par for (i=1: i-n: i++)P 了 ocess (i) 并行循环常用来说明SPMD并行程序。 哈尔滨工业大学计算机科学与技术学院

哈尔滨工业大学计算机科学与技术学院 ◼ Parbegin Process(1)······Process(n) ◼ Parend ◼ 可简化成如下的并行循环： ◼ Parfor(i=1；i<=n：i++){Process(i)} ◼ 并行循环常用来说明SPMD并行程序

可以用SPMD来仿真MPMD。 例如MPMD代码 a Parbegin A; B; C; parend 表示成一个SPMD的并行循环 parfor (i=0; i3; i++)[ a if (i=o A |f(i=1)B f(i=2)G;} 哈尔滨工业大学计算机科学与技术学院

哈尔滨工业大学计算机科学与技术学院 ◼ 可以用SPMD来仿真MPMD。 ◼ 例如MPMD代码： ◼ Parbegin A；B；C；parend ◼ 表示成一个SPMD的并行循环 ◼ parfor(i=0；i<3；i++){ ◼ if (i=0) A； ◼ If (i=1) B； ◼ If (i=2) C；}