并行程序设计复习题库#

题量概览#

填空题：98
判断题：72
选择题：72
大题：43

目录#

第一章为什么要并行计算：47 题
第二章并行硬件和软件：47 题
第三章 MPI 进行分布式内存编程：47 题
第四章 Pthreads 进行共享内存编程：47 题
第五章用 OpenMP 进行共享内存编程：48 题
第六章 CUDA 异构编程：49 题

第一章为什么要并行计算#

填空题#

1-填空-1#

并发强调多个任务在同一________内交替执行，而并行强调多个任务在同一________真正同时运行。

答案： 时间段；时刻

解释： 复习资料用“同一时间段内交替执行”和“同一时刻真正同时运行”区分并发和并行。

来源： 并行复习 p.4

1-填空-2#

分布式程序把任务拆分到多台物理机器上，并通过________通信协调完成共同目标。

答案： 网络

解释： 资料把分布式定义为多台物理机器通过网络通信协调。

来源： 并行复习 p.4

1-填空-3#

任务并行把________任务分配给不同处理单元；数据并行把________操作应用到不同数据子集。

答案： 不同；相同

解释： 资料分别定义任务并行和数据并行。

来源： 并行复习 p.4

1-填空-4#

并行程序中核之间的协调主要包括通信、________和同步。

答案： 负载均衡

解释： 复习资料列出通信、负载均衡、同步三类协调。

来源： 并行复习 p.4；并行复习 p.5

1-填空-5#

课程材料中，分布式内存编程主要对应 ________，共享内存编程主要对应 Pthreads 和 OpenMP。

答案： MPI

解释： 资料在并行系统处写明分布式：MPI；共享：Pthread、OpenMP。

来源： 并行复习 p.5

1-填空-6#

峰值性能常按核心数、每核频率和每周期________操作数相乘估算。

答案： 浮点

解释： 资料列出峰值性能 = 核心数、每核频率、每周期浮点操作数。

来源： 并行复习 p.3

1-填空-7#

继续单纯提高 CPU 频率会让集成电路变热，并最终导致________问题。

答案： 不可靠

解释： 资料指出晶体管传递速度加快会使集成电路变热并最终导致不可靠。

来源： 并行复习 p.3

1-填空-8#

在批改试卷例子中，4 个助教每人改 25 份试卷属于________并行。

答案： 数据

解释： 资料把每人改 25 份试卷作为数据并行例子。

来源： 并行复习 p.4

1-课本填空-1#

书中把并行系统按内存访问方式分为共享内存系统和________内存系统。

答案： 分布式

解释： 课本说明，共享内存系统中各核心原则上可读写每个内存位置；分布式内存系统中每个核心有私有内存，并通过网络发送消息等方式显式通信。

来源： 课本OCR-并行程序设计导论原书第2版 p.19

1-课本补充-填空-1#

课本小结指出，由于物理限制，传统处理器性能提升速度大幅下降，芯片制造商转向在一个芯片上集成多个传统处理器，即________集成电路。

答案： 多核

解释： 课本第1章小结把处理器性能提升放缓与多核集成电路的出现直接联系起来。

来源： 课本OCR-并行程序设计导论原书第2版 p.22

1-课本补充-填空-2#

在课本全局求和伪代码中，初始化数组 x 后、各核心计算部分和前，需要加入一个同步点，即 ________。

答案： Synchronize_cores()

解释： 课本说明如果某些核心还在初始化 x，其他核心就开始计算部分和会出错，所以需要在初始化和部分求和之间同步。

来源： 课本OCR-并行程序设计导论原书第2版 p.19

1-课本补充-填空-3#

树状结构全局求和中，如果核心数是 2 的幂，配对核心可通过当前核心编号与位掩码做按位________得到。

答案： 异或

解释： 课本练习说明，每一阶段通过反转编号中与 bitmask 非零位对应的位得到配对核心编号，可用按位异或实现。

来源： 课本OCR-并行程序设计导论原书第2版 p.24

1-课本概念-填空-1#

共享内存系统中，各核心通过访问共享________位置来协调行动。

答案： 内存

解释： 课本第1章小结把共享内存系统定义为各核心共享一个大的内存池，并通过访问共享内存位置协调。

来源： 课本OCR-并行程序设计导论原书第2版 p.23

1-课本概念-填空-2#

分布式内存系统中，每个核心有自己的________内存，核心通过网络发送消息协调。

答案： 私有

解释： 课本第1章小结区分共享内存和分布式内存：分布式内存中每个核心都有自己的私有内存。

来源： 课本OCR-并行程序设计导论原书第2版 p.23

1-课本概念-填空-3#

MIMD 的中文含义是多________流多数据流。

答案： 指令

解释： 课本把能相互独立运行的核心系统称为多指令流多数据流系统。

来源： 课本OCR-并行程序设计导论原书第2版 p.23

1-课本概念-填空-4#

SIMD 的中文含义是单指令流多________流。

答案： 数据

解释： 课本把所有核心执行相同指令、处理各自数据流的系统称为单指令流多数据流系统。

答案： A

解释： 课本第1章小结说明 MPI 用于分布式内存 MIMD 系统的编程。

来源： 课本OCR-并行程序设计导论原书第2版 p.23

大题#

1-大题-1#

简述为什么需要构建并行系统。要求从单处理器性能提升受限、多核处理器出现、程序员需要利用并行硬件三个角度回答。

答案： 单处理器过去主要依赖晶体管密度增加和速度提升来提高性能，但继续提高速度会带来发热和可靠性问题；与此同时，晶体管密度仍在增加，因此可以在单芯片上放置多个相对简单的处理器，形成多核处理器。硬件已经提供并行资源后，程序必须把计算拆分到多个核心或多台机器上，才能继续获得性能提升。

解释： 答案按资料中的逻辑组织：频率提升受限 -> 利用晶体管密度做多核 -> 需要编写并行程序。

来源： 并行复习 p.3；课程要点-并行程序设计第2版 para 4；课程要点-并行程序设计第2版 para 5

1-大题-2#

比较并发、并行和分布式，并说明三者的包含关系。

答案： 并发强调多个任务在同一时间段内交替执行，看起来像同时运行；并行强调多个任务在同一时刻真正同时运行，依赖多个核心或多个计算资源；分布式强调任务分布在多台物理机器上，并通过网络通信协调完成目标。资料给出的关系是：所有并行和分布式程序都是并发的，但并发不一定并行，也不一定分布式。

解释： 核心区别在于“同一时间段”“同一时刻”和“多台物理机器/网络通信”。

来源： 并行复习 p.4；课程要点-并行程序设计第2版 para 7

1-大题-3#

比较任务并行和数据并行，并用“批改试卷”的例子说明。

答案： 任务并行把不同任务或功能分配给不同处理单元，例如助教 A 批选择题、助教 B 批填空题、助教 C 批问答题。数据并行把相同操作应用到不同数据子集上，例如 4 个助教每人批 25 份试卷。二者都可能需要通信、负载均衡和同步来协调。

解释： 资料直接给出了任务并行、数据并行定义和批改试卷例子。

来源： 并行复习 p.4；并行复习 p.5

1-课本大题-1#

依据课本，说明为什么 GPU 既不是纯 SIMD，也不是纯 MIMD。

答案： GPU 的给定核心上的数据通路可以使用 SIMD 并行，但当代 GPU 可以在单个核心上运行多个指令流；典型 GPU 还有几十个核心，这些核心也能执行独立指令流。因此 GPU 同时具有 SIMD 和 MIMD 的特征，不能简单归为纯 SIMD 或纯 MIMD。

解释： 课本直接强调 GPU 不是纯 SIMD 系统，也不是纯 MIMD 系统，并给出核心内和多核心层面的原因。

来源： 课本OCR-并行程序设计导论原书第2版 p.37

1-课本补充-大题-1#

根据课本全局求和例子，说明通信、负载均衡和同步分别在哪里出现。

答案： 通信出现在一个或多个核心把当前部分和发送给另一个核心时；负载均衡出现在第一阶段给每个核心分配大致相同数量、且工作量接近的计算值时；同步出现在必须等数组 x 初始化完成后才能开始部分求和，以及树状归约每一阶段必须等待前一阶段结果可用时。

解释： 课本在全局求和例子后逐项说明了通信、负载平衡和同步，并在伪代码处给出 `Synchronize_cores()` 的必要性。

来源： 课本OCR-并行程序设计导论原书第2版 p.18；课本OCR-并行程序设计导论原书第2版 p.19

1-课本补充-大题-2#

推导并比较直接全局求和和树状全局求和中核心0的接收/加法次数。假设核心数 p 是 2 的幂。

答案： 直接方案中，其他 p-1 个核心都把部分和发送给核心0，所以核心0需要完成 p-1 次接收和 p-1 次加法。树状结构中每一阶段问题规模减半，核心0只在每一层接收并合并一次，因此需要 log2(p) 次接收和 log2(p) 次加法。

解释： 课本练习要求推导核心0在原始伪代码和树状结构全局和中的接收与加法数量，树状配对过程见课本图示和位掩码说明。

来源： 课本OCR-并行程序设计导论原书第2版 p.17；课本OCR-并行程序设计导论原书第2版 p.24

1-课本补充-大题-3#

为什么课本把“良好的程序开发技术”放在并行程序中特别强调？

答案： 并行程序除了普通程序的算法和实现问题，还要处理核心之间通信、负载均衡、同步、任务划分和调试等问题。课本指出并行程序通常非常复杂，因此更需要良好的程序开发技术，以避免把协调问题隐藏在难以定位的错误中。

解释： 第1章小结和练习前说明并行程序通常复杂，且编写时需要协调通信、负载平衡和同步。

来源： 课本OCR-并行程序设计导论原书第2版 p.22；课本OCR-并行程序设计导论原书第2版 p.23

第二章并行硬件和软件#

填空题#

2-填空-1#

冯诺依曼架构困境指处理器速度和________访问速度之间差距越来越大。

答案： 内存

解释： 资料说明 CPU 和主存分离导致 CPU 大量时间等待数据。

来源： 并行复习 p.5

2-填空-2#

Cache 利用两类局部性：时间局部性和________局部性。

答案： 空间

解释： 资料说明程序员不能显式控制 Cache Line，需要利用时间局部性和空间局部性。

来源： 并行复习 p.6

2-填空-3#

写回策略会先把被修改的 Cache Line 标记为________，等换出 Cache 后再写回主存。

答案： 脏的

解释： 复习资料对写回的定义是标记 Cache Line 为脏，换出时再写主存。

来源： 并行复习 p.6

2-填空-4#

Flynn 分类法按照同时管理的________流数目和数据流数目分类。

答案： 指令

解释： 资料说明 Flynn 分类法按指令流和数据流数目分类。

来源： 并行复习 p.7

2-填空-5#

SIMD 可以抽象为一个控制单元和多个________。

答案： ALU

解释： 资料说明 SIMD 有一个控制单元和多个 ALU。

来源： 并行复习 p.8

2-填空-6#

MIMD 系统的两类主要形式是共享内存系统和________内存系统。

答案： 分布式

解释： 复习资料说明 MIMD 系统主要类型为共享内存和分布式内存。

来源： 并行复习 p.8

2-填空-7#

效率 E 的常用公式是 E = S / ________。

答案： p

解释： 资料说明效率表示 S 接近线性加速比的程度，所以除以 p。

来源： 并行复习 p.16

2-填空-8#

固定问题规模、增加核数并希望效率维持不变，称为________扩展性。

答案： 强

解释： 资料定义强扩展性为固定问题规模，增加核数 P，效率维持不变。

来源： 并行复习 p.19

2-课本填空-1#

SPMD 程序不是在每个核心上运行不同程序，而是由同一个可执行程序在不同进程/线程上运行，通常依靠________区分各自工作。

答案： 编号或秩

解释： 课本在并行软件部分说明主要关注 SPMD：同一程序在多个进程/线程上运行，再由各自身份决定执行哪部分任务。

来源： 课本OCR-并行程序设计导论原书第2版 p.46

2-课本补充-填空-1#

课本小结中，CPU 和内存分离限制指令执行速度的问题称为________瓶颈。

答案： 冯·诺依曼

解释： 课本第2章小结说明，CPU 和内存分离被称为冯·诺依曼瓶颈，因为它限制了指令执行速度。

来源： 课本OCR-并行程序设计导论原书第2版 p.67

2-课本补充-填空-2#

虚拟地址和物理地址的对应关系存储在主存中的页表；为减少页表访问，CPU 使用页表缓存，即________。

答案： 转换查找缓冲区（TLB）

解释： 课本说明页表在主存中，直接查页表可能导致额外内存访问，因此 CPU 有转换查找缓冲区存储最近使用的页表条目。

来源： 课本OCR-并行程序设计导论原书第2版 p.68

2-课本补充-填空-3#

课本把由处理器和编译器控制、程序员通常不直接控制的低层次并行分为指令级并行和________级并行。

答案： 线程

解释： 课本将 ILP 和 TLP 作为低层次并行讨论，并指出它们通常由处理器和编译器控制，而不是程序员直接控制。

来源： 课本OCR-并行程序设计导论原书第2版 p.68

2-课本概念-填空-1#

操作系统通过在执行程序之间快速切换，即使没有多个核心，也能产生多个作业同时运行的________。

答案： 假象

解释： 课本第2章小结说明，多任务操作系统通过快速切换产生多个作业同时运行的假象。

来源： 课本OCR-并行程序设计导论原书第2版 p.67

2-课本概念-填空-2#

指令级并行的两种主要类型是流水线和________。

答案： 多发射

解释： 课本第2章小结列出 ILP 两种主要类型：流水线和多发射。

来源： 课本OCR-并行程序设计导论原书第2版 p.68

2-课本概念-填空-3#

Flynn 分类法区分系统可同时管理的________流数量和数据流数量。

答案： 指令

解释： 课本说明 Flynn 分类法区分系统可以同时管理的指令流数量和数据流数量。

来源： 课本OCR-并行程序设计导论原书第2版 p.68

2-课本概念-填空-4#

如果所有处理器具有相同体系结构，该系统称为________系统。

答案： 同构

解释： 课本说明所有处理器具有相同体系结构的系统是同构系统；处理器功能不同则是异构系统。

答案： A

解释： 课本区分强/弱可扩展性：问题规模保持不变可保持效率称为强可扩展性。

来源： 课本OCR-并行程序设计导论原书第2版 p.71

大题#

2-大题-1#

结合 `sum += z[i]` 这类数组求和循环，解释时间局部性和空间局部性。

答案： 时间局部性体现在 `sum` 被反复读取和更新，CPU 可以把它保留在寄存器或 Cache 中，避免每次从主存加载。空间局部性体现在数组 `z` 连续存储，访问 `z[0]` 时可能把包含后续元素的 Cache Line 一起读入，之后访问 `z[1]`、`z[2]` 等更容易命中 Cache。

解释： 答案直接来自资料对 `float z[1000]` 求和示例的解释。

来源： 并行复习 p.6

2-大题-2#

比较 SIMD 和 MIMD，并说明它们适合的并行模式或系统类型。

答案： SIMD 用一个控制单元向多个 ALU 广播同一条指令，让不同 ALU 处理不同数据，适合规则的数据并行，但复杂分支会降低效率。MIMD 支持多个独立处理单元在多个数据流上运行不同指令，通常异步，是目前使用较多的形式，可进一步分为共享内存系统和分布式内存系统。

解释： 资料在 SIMD/MIMD 小节分别说明了控制单元、ALU、同步/异步、共享内存和分布式内存。

来源： 并行复习 p.8；课程要点-计算机体系结构-量化研究方法-第六版-第四章 para 4；课程要点-计算机体系结构-量化研究方法-第六版-第四章 para 5

2-大题-3#

解释加速比、效率、阿姆达尔定律和可扩展性之间的关系。

答案： 加速比衡量并行程序相对串行程序的变快程度，线性加速比是 S=P。效率 E=S/P，表示实际加速比接近线性加速比的程度。阿姆达尔定律说明只要存在串行部分，加速比就有上限。可扩展性描述增加处理器数量时性能能否持续提升；强扩展固定问题规模，弱扩展在增加核数时也增加问题规模。

解释： 资料在性能评估页依次解释了加速比、效率、阿姆达尔定律和强/弱扩展性。

来源： 并行复习 p.16；并行复习 p.17；并行复习 p.18；并行复习 p.19

2-课本大题-1#

用课本直方图例子解释为什么直接共享 `bin_counts[b]++` 会出现竞争条件，以及一种避免思路。

答案： 如果两个进程或线程被分配到属于同一个桶 b 的数据元素，它们都会执行 `bin_counts[b]++`。若 `bin_counts` 是共享数组，这两个更新可能交错执行，导致丢失更新，形成竞争条件。避免思路是把 `bin_counts` 划分为各进程/线程的局部计数，例如使用 `loc_bin_counts`，最后再合并局部结果。

解释： 课本在 Foster 方法论的直方图示例中指出，共享 `bin_counts[b]++` 会导致竞争条件，而按进程/线程划分 `loc_bin_counts` 可规避共享更新。

来源： 课本OCR-并行程序设计导论原书第2版 p.64

2-课本补充-大题-1#

解释为什么按行遍历二维数组通常比按列遍历更符合缓存局部性。

答案： C 语言二维数组按行连续存储。按行遍历时，读入一个缓存行后会连续使用同一行中相邻元素，空间局部性好；按列遍历时，相邻访问跨越较大地址间隔，已载入的同一缓存行很快被逐出，缓存未命中更多。课本示例中第一对嵌套循环显著快于第二对。

解释： 课本用 MAX=1000 的二维数组循环示例说明，两种嵌套循环因缓存未命中次数不同而有明显性能差异。

来源： 课本OCR-并行程序设计导论原书第2版 p.31

2-课本补充-大题-2#

说明课本中 MIMD 系统、混合系统、异构系统和同构系统的关系。

答案： MIMD 系统执行多个独立指令流，每个指令流可有自己的数据流。较大的 MIMD 系统常是混合系统，即多个较小共享内存节点通过互连网络连接。若处理器功能不同，如 CPU 与 GPU 组合，就是异构系统；若所有处理器具有相同体系结构，就是同构系统。

解释： 课本第2章小结在 MIMD 系统段落中依次定义了这些系统类型。

来源： 课本OCR-并行程序设计导论原书第2版 p.69

2-课本补充-大题-3#

按课本说明，如何较可靠地测量并行程序运行时间？

答案： 应在源代码中调用计时器，记录挂钟时间；在同构 MIMD 系统中，通常先同步进程/线程再启动计时器，停止计时后取所有进程/线程中的最大运行时间；由于系统可变性，应对同一数据集多次运行，通常取最短时间；为减少可变性，通常每个核心不超过一个进程或线程。

解释： 课本性能小结明确说明计时要用挂钟时间、并行时间要考虑同步和最大运行时间，并建议多次运行取较稳定结果。

来源： 课本OCR-并行程序设计导论原书第2版 p.71

第三章 MPI 进行分布式内存编程#

填空题#

3-填空-1#

MPI 程序通常用 ________ 编译，用 mpiexec 执行。

答案： mpicc

解释： 复习资料给出 `mpicc -o hello hello.c` 和 `mpiexec -n 4 ./hello`。

来源： 并行复习 p.19

3-填空-2#

MPI_Init 必须在所有其他 MPI 函数调用________执行。

答案： 之前

解释： 资料说明 MPI_Init 必须在所有其他 MPI 函数调用之前执行。

来源： 并行复习 p.20

3-填空-3#

MPI_Comm_rank 用于获取当前进程在通信子中的________。

答案： rank

解释： 资料给出 MPI_Comm_rank 的作用和示例。

来源： 并行复习 p.21

3-填空-4#

MPI_Send 的 count 参数表示发送的数据项个数，而不是________数。

答案： 字节

解释： 资料参数表明确 count 是数据项个数，不是字节数。

来源： 并行复习 p.21

3-填空-5#

MPI_Recv 可用通配符 MPI_ANY_SOURCE 匹配任意________。

答案： 消息来源进程

解释： 资料说明 source 可用 MPI_ANY_SOURCE 匹配任意来源。

来源： 并行复习 p.22

3-填空-6#

MPI 点对点消息匹配主要看 source、tag 和________。

答案： comm

解释： 资料列出 MPI_Recv 与 MPI_Send 匹配需要 source、tag、comm。

来源： 并行复习 p.22

3-填空-7#

MPI_Reduce 将多个进程的数据按指定归约操作聚合，并把结果返回到指定________进程。

答案： 根

解释： 资料说明 MPI_Reduce 将结果返回到指定根进程。

来源： 并行复习 p.25

3-填空-8#

MPI_Allgather 可以理解为 MPI_Gather 加上 ________。

答案： MPI_Bcast

解释： 资料直接写出 `MPI_Allgather = MPI_Gather + MPI_Bcast`。

来源： 并行复习 p.30

3-课本填空-1#

MPI_Init 的目的之一是定义包含启动时所有进程的通信域，称为________。

答案： MPI_COMM_WORLD

解释： 课本说明 MPI_Init 会进行必要设置，其中一个目的就是定义包含用户启动程序所有进程的通信域 MPI_COMM_WORLD。

来源： 课本OCR-并行程序设计导论原书第2版 p.78

3-课本补充-填空-1#

从程序员视角看，分布式内存系统由通过网络连接的核心-________对组成，相关存储器只有该核心可直接访问。

答案： 存储

解释： 课本第3章开头把分布式内存系统描述为通过网络连接的核心-存储对。

来源： 课本OCR-并行程序设计导论原书第2版 p.75

3-课本补充-填空-2#

MPI 点对点消息通常包含数据和“信封”信息，信封中包括目的进程、发送进程、标签、通信域和________信息。

答案： 消息大小

解释： 课本解释 MPI 发送进程会组装消息，给数据加上信封信息，其中包含目的、源、标签、通信域和消息大小。

来源： 课本OCR-并行程序设计导论原书第2版 p.83

3-课本补充-填空-3#

MPI_Bcast 是把单个源进程的数据发送到通信域中的________进程。

答案： 所有

解释： 课本在广播小节说明，source_proc 进程把 data_p 引用的内容发送给通信器中的所有进程。

来源： 课本OCR-并行程序设计导论原书第2版 p.94

3-课本概念-填空-1#

MPI 是一个可以从 C 或 Fortran 程序中调用的________库。

答案： 函数

解释： 课本第3章小结第一句说明 MPI 是一个函数库。

来源： 课本OCR-并行程序设计导论原书第2版 p.116

3-课本概念-填空-2#

许多系统使用 ________ 编译 MPI 程序，使用 mpiexec 运行 MPI 程序。

答案： mpicc

解释： 课本第3章小结说明许多系统使用 mpicc 编译、mpiexec 运行 MPI 程序。

来源： 课本OCR-并行程序设计导论原书第2版 p.116

3-课本概念-填空-3#

C MPI 程序应包含 ________ 头文件以获得 MPI 函数原型、类型和宏。

答案： mpi.h

解释： 课本第3章小结说明 C MPI 程序应该包含 mpi.h 头文件。

来源： 课本OCR-并行程序设计导论原书第2版 p.116

3-课本概念-填空-4#

MPI_Comm_rank 获取进程在通信域中的________。

答案： 序列号或 rank

解释： 课本在通信域、MPI_Comm_size 和 MPI_Comm_rank 小节说明该函数获取当前进程编号。

答案： A

解释： 课本第3章小结指出，在 MPI_Reduce 等函数中将相同实际参数传给输入和输出缓冲区称为参数混叠，MPI 明确禁止输出参数与另一个参数混叠。

来源： 课本OCR-并行程序设计导论原书第2版 p.117

大题#

3-大题-1#

解释 MPI_Send 和 MPI_Recv 的阻塞语义，并说明大消息双向先 Send 后 Recv 为什么可能死锁。

答案： MPI_Recv 一定阻塞，如果消息未到达会等待。MPI_Send 对小消息可能复制到内部缓冲区后返回；对较大消息，如果接收端尚未发起匹配的 MPI_Recv，发送端可能阻塞。若两个进程都先执行大消息 MPI_Send，再执行 MPI_Recv，两个进程都会等待对方先接收，无法到达接收阶段，形成死锁。可以使用 MPI_Sendrecv 或调整收发顺序避免。

解释： 答案结合复习资料对 Send/Recv 语义的描述和参考资料 2 对大消息死锁原因及 Sendrecv 替代方案的说明。

来源： 并行复习 p.23；参考资料2 para 16；参考资料2 para 17；参考资料2 para 41；参考资料2 para 42

3-大题-2#

用 MPI 并行梯形积分时，如何划分计算并汇总结果？说明会用到哪些 MPI 函数。

答案： 基本思路是把积分区间划分为若干梯形，每个进程计算自己负责的一部分局部面积，再用 MPI_Reduce 按求和操作把局部结果汇总到 0 号进程，最后由 0 号进程输出总积分值。程序需要 MPI_Init/MPI_Finalize 管理环境，MPI_Comm_rank 获取当前进程编号，MPI_Comm_size 获取进程数，MPI_Reduce 汇总局部积分结果，MPI_Wtime 可用于计时。

解释： 复习资料给出梯形积分公式和 MPI_Reduce 用法；参考资料 2 也列出梯形法中通过 MPI_Reduce 汇总到进程 0。

来源： 并行复习 p.23；并行复习 p.25；并行复习 p.31；参考资料2 para 90；参考资料2 para 92

3-大题-3#

比较 MPI 点对点通信和集合通信，说明匹配规则和调用要求。

答案： 点对点通信如 MPI_Send/MPI_Recv 发生在发送方和接收方之间，通过 source、tag、comm 等字段匹配，接收方还可使用 MPI_ANY_SOURCE 和 MPI_ANY_TAG。集合通信涉及通信子中的所有进程，所有进程必须调用相同的集合函数，参数需一致，匹配主要依赖通信子和调用顺序，不能用 MPI_Reduce 与 MPI_Recv 相匹配。

解释： 资料在消息匹配和集合通信与点对点通信部分直接给出这些规则。

来源： 并行复习 p.22；并行复习 p.25；并行复习 p.26

3-课本大题-1#

结合课本，说明 MPI_Scatter、MPI_Gather 与 MPI_Allgather 的用途和限制。

答案： MPI_Scatter 可由根进程把数组块分发给各进程；MPI_Gather 可把各进程的局部数组收集到根进程；MPI_Allgather 可理解为先 Gather 再 Bcast，让所有进程获得收集后的向量。课本提醒 Scatter/Gather 示例对块分布且每个块大小相同的向量工作正常，因此使用时要注意数据分布和每进程块大小限制。

解释： 课本给出了 Scatter、Gather 和 Allgather 的函数语义，并指出 Gather/Scatter 示例对相同大小块分布有使用限制。

来源： 课本OCR-并行程序设计导论原书第2版 p.96；课本OCR-并行程序设计导论原书第2版 p.98；课本OCR-并行程序设计导论原书第2版 p.100

3-课本补充-大题-1#

用课本梯形法则例子说明 Foster 方法论在 MPI 并行化中的应用。

答案： 先划分任务：计算单个梯形面积和计算面积总和；再识别通信：局部面积需要汇总到总和；然后凝聚：把多个相邻梯形分配给同一进程形成较大的局部任务；最后映射：把局部梯形块映射到各进程，每个进程计算局部积分，再通过归约通信汇总。

解释： 课本在 MPI 梯形法则中用 Foster 方法论分析任务、通信、聚合和映射，并以图示说明单个梯形面积与总和之间的通信。

来源： 课本OCR-并行程序设计导论原书第2版 p.85；课本OCR-并行程序设计导论原书第2版 p.90

3-课本补充-大题-2#

说明 MPI_Reduce、MPI_Allreduce、MPI_Bcast、MPI_Scatter 和 MPI_Gather 的核心区别。

答案： MPI_Reduce 把全局操作结果放到单个指定进程；MPI_Allreduce 把结果放到所有进程；MPI_Bcast 从单个源进程把数据发送给所有进程；MPI_Scatter 从根进程把不同数据块分散给各进程；MPI_Gather 把各进程数据块收集到根进程。

解释： 课本第3章小结和集合通信小节分别给出这些集合通信函数的用途。

来源： 课本OCR-并行程序设计导论原书第2版 p.94；课本OCR-并行程序设计导论原书第2版 p.96；课本OCR-并行程序设计导论原书第2版 p.98；课本OCR-并行程序设计导论原书第2版 p.117

3-课本补充-大题-3#

为什么发送零字节消息仍可能有非零运行时间？

答案： 即使 count 为 0，通信仍需要函数调用、进入 MPI 运行时、构造和处理消息信封、进行进程匹配与同步等控制操作。这些固定开销与消息数据字节数无关，因此零字节消息运行时间仍可能非零。

解释： 课本练习提出 count 为 0 的发送成本问题；前文对消息信封和发送语义的说明支持固定控制开销的解释。

来源： 课本OCR-并行程序设计导论原书第2版 p.83；课本OCR-并行程序设计导论原书第2版 p.124

第四章 Pthreads 进行共享内存编程#

填空题#

4-填空-1#

pthread_create 的线程入口函数类型必须是 `void* -> ________`。

答案： void*

解释： 资料函数原型注释写明线程入口函数必须是 void* 到 void*。

来源： 并行复习 p.35

4-填空-2#

pthread_join 会阻塞调用它的线程，直到目标线程正常________。

答案： 返回

解释： 资料说明 pthread_join 阻塞调用线程直到目标线程正常返回。

来源： 并行复习 p.35

4-填空-3#

竞争条件是多个线程同时读取某个共享变量并操作，变量值与线程执行________有关。

答案： 顺序

解释： 资料定义竞争条件时强调共享变量的值与线程执行顺序有关。

来源： 并行复习 p.36

4-填空-4#

互斥锁保证同一时刻只有________个线程可以进入临界区。

答案： 一

解释： 资料定义互斥锁保证同一时刻只有一个线程进入临界区。

来源： 并行复习 p.36

4-填空-5#

sem_wait 在信号量值大于 0 时会将其减________并继续执行。

答案： 一

解释： 资料说明 sem_wait 若信号量值 > 0，减一并继续执行。

来源： 并行复习 p.39

4-填空-6#

路障要求一组线程在某一点集合，等________线程都到达后再继续。

答案： 所有

解释： 资料定义路障为等所有线程到达后统一继续。

来源： 并行复习 p.39

4-填空-7#

条件变量通常需要搭配________锁一起使用。

答案： 互斥

解释： 资料说明条件变量需要搭配互斥锁一起使用。

来源： 并行复习 p.40

4-填空-8#

线程安全版本的 strtok 是 ________。

答案： strtok_r

解释： 资料说明可以使用线程安全版本 strtok_r。

来源： 并行复习 p.46

4-课本填空-1#

Pthreads 程序启动线程常用函数是 pthread_create，停止或等待线程完成常用函数是________。

答案： pthread_join

解释： 课本 Pthreads 小结说明，pthread_create 和 pthread_join 分别用于启动和停止一个线程函数。

来源： 课本OCR-并行程序设计导论原书第2版 p.166

4-课本补充-填空-1#

课本把观察或调试时可能暂时消失的并发错误称为________。

答案： Heisenbugs

解释： 课本说明，附加调试器或添加 printf 可能改变线程相对时间，使错误似乎消失，这类错误称为 Heisenbugs。

来源： 课本OCR-并行程序设计导论原书第2版 p.139

4-课本补充-填空-2#

忙等待实现栅栏时，如果要重复使用计数器，必须处理计数器________问题，否则第二个栅栏可能失效或挂起。

答案： 重置

解释： 课本说明第一个栅栏完成后 counter 等于 thread_count；若不能正确重置，第二个栅栏不会阻塞，或重置时导致线程挂起。

来源： 课本OCR-并行程序设计导论原书第2版 p.149

4-课本补充-填空-3#

Pthreads 条件变量总是与一个________锁相关联。

答案： 互斥

解释： 课本介绍条件变量时明确说条件变量总是与一个互斥锁相关联。

来源： 课本OCR-并行程序设计导论原书第2版 p.151

4-课本概念-填空-1#

从程序员角度看，共享内存系统是所有核心都可以访问所有________位置的系统。

答案： 内存

解释： 课本第4章开头回顾共享内存系统的定义。

来源： 课本OCR-并行程序设计导论原书第2版 p.127

4-课本概念-填空-2#

互斥锁用于保证对临界区的________访问。

答案： 互斥

解释： 课本说明 mutex 是 mutual exclusion 的缩写，用于限制对临界区的访问，使一次只有一个线程访问。

来源： 课本OCR-并行程序设计导论原书第2版 p.142

4-课本概念-填空-3#

二元信号量只使用两个值：________和1。

答案： 0

解释： 课本说明二元信号量只使用 0 和 1；0 对应锁定，1 对应解锁。

来源： 课本OCR-并行程序设计导论原书第2版 p.146

4-课本概念-填空-4#

栅栏是一种同步点，在所有线程到达之前，没有线程可以________栅栏继续前进。

答案： 越过

解释： 课本定义栅栏为线程都处于同一位置的同步点，在所有线程到达前没有线程可以越过。

答案： A

解释： 课本说明 pthread_cond_broadcast 将解除所有被阻塞的线程。

来源： 课本OCR-并行程序设计导论原书第2版 p.151

大题#

4-大题-1#

分析在循环内部对全局变量加锁累加，为什么性能可能很差；给出更好的思路。

答案： 如果每次循环迭代都在 `global_sum += …` 前后加锁，那么临界区执行次数等于迭代次数，锁和解锁会发生大量次。其他线程需要等待，调度器还可能频繁唤醒和切换线程，CPU 周期消耗在同步和调度上，而不是有效计算。更好的思路是每个线程先用私有局部变量累计自己的部分，最后只进入一次临界区把局部结果合并到全局变量。

解释： 参考资料 3 直接分析了 Pthreads 求平方和的两个代码片段：循环内锁导致 N 次 lock/unlock，局部和再合并能减少同步。

来源： 参考资料3 para 2；参考资料3 para 36；参考资料3 para 37；参考资料3 para 38

4-大题-2#

比较忙等待、互斥量、信号量和条件变量的适用点。

答案： 忙等待通过反复检查条件来同步，能控制顺序但浪费 CPU，线程数超过核心数时性能可能很差。互斥量保证同一时刻只有一个线程进入临界区，适合保护共享变量更新，但进入顺序由系统调度决定。信号量适合一个线程等待另一个线程完成某些操作，也可以允许一定数量线程进入。条件变量用于等待某个条件成立，通常与互斥锁搭配，等待时释放锁，被唤醒后重新加锁。

解释： 答案分别来自忙等待、互斥量、信号量、条件变量小节。

来源： 并行复习 p.36；并行复习 p.37；并行复习 p.38；并行复习 p.39；并行复习 p.40；并行复习 p.41

4-大题-3#

解释伪共享的形成过程，并给出至少两种避免思路。

答案： 伪共享发生在多个线程修改不同变量，但这些变量落在同一个 Cache Line 中。某个线程修改自己的变量时，会使其他核心中同一 Cache Line 的副本失效；另一个线程再修改邻近变量时又要重新获取该 Cache Line，导致缓存行反复失效/同步，性能急剧下降。避免思路包括给结构体成员填充或对齐，让不同线程频繁写的变量落在不同 Cache Line；或者让每个线程先在私有局部变量中累加，最后再少量写回共享内存。

解释： 复习资料和参考资料 3 均解释了不同变量同处一个 cache line 导致性能下降，以及私有局部变量累加的改法。

来源： 并行复习 p.44；并行复习 p.45；参考资料3 para 162；参考资料3 para 166；参考资料3 para 172

4-课本大题-1#

课本为什么强调线程安全？以静态局部变量为例说明。

答案： 线程安全指一个代码块由多个线程运行时仍能正常工作。普通 C 局部变量从线程自己的栈分配，通常是私有的；但静态局部变量跨调用保持存在，在多个线程调用同一函数时实际上会被共享，可能导致意外的共享状态和竞争。因此，串行程序中可用的函数放到多线程程序中不一定安全。

解释： 课本在线程安全小节说明，静态局部变量会在调用函数的线程之间有效共享，这是串行函数在多线程程序中可能出错的重要原因。

来源： 课本OCR-并行程序设计导论原书第2版 p.50；课本OCR-并行程序设计导论原书第2版 p.70

4-课本补充-大题-1#

比较忙等待、互斥锁和信号量在控制线程顺序或临界区访问上的差异。

答案： 忙等待通过反复测试共享标志控制顺序，简单但浪费 CPU，且受优化和调度影响；互斥锁适合保护临界区，只保证互斥，不保证线程按编号顺序进入；信号量可表示资源计数或事件通知，二元信号量能像互斥锁一样使用，也能用于生产者-消费者式的消息到达通知。

解释： 课本分别讨论忙等待、自旋、互斥锁随机进入临界区、以及用信号量让线程发送消息。

来源： 课本OCR-并行程序设计导论原书第2版 p.140；课本OCR-并行程序设计导论原书第2版 p.143；课本OCR-并行程序设计导论原书第2版 p.146；课本OCR-并行程序设计导论原书第2版 p.147

4-课本补充-大题-2#

为什么用互斥锁数组直接改造线程消息传递示例仍可能崩溃？

答案： 如果线程0远领先于线程1，它可能在线程1设置给线程0的消息指针前，就锁住自己的互斥锁并执行打印；此时 messages[my_rank] 仍是 NULL，解除空指针引用会崩溃。问题不只是互斥访问，而是还需要表达“消息已经到达”的同步条件。

解释： 课本用两个线程的事件顺序说明，单纯在写和读周围加互斥锁仍可能让线程读取 NULL 指针。

来源： 课本OCR-并行程序设计导论原书第2版 p.145；课本OCR-并行程序设计导论原书第2版 p.146

4-课本补充-大题-3#

为什么条件变量等待通常应该放在 while 循环中？

答案： 线程可能因为 signal/broadcast 之外的事件解除阻塞，即虚假唤醒；即使确实被唤醒，条件也可能已被其他线程改变。因此等待返回后应重新检查条件，不满足就再次等待。

解释： 课本明确说明虚假唤醒存在，`pthread_cond_wait` 通常应放在 while 循环中；单线程唤醒时继续前也应确认条件。

来源： 课本OCR-并行程序设计导论原书第2版 p.152

第五章用 OpenMP 进行共享内存编程#

填空题#

5-填空-1#

OpenMP 的 pragma 总是以 `#pragma ________` 开始。

答案： omp

解释： 资料说明 OpenMP 的 pragma 总是以 `# pragma omp` 开始。

来源： 并行复习 p.47

5-填空-2#

`#pragma omp parallel` 并行块末尾有一个隐式________。

答案： barrier

解释： 资料提醒并行代码块末尾存在隐式 barrier。

来源： 并行复习 p.47

5-填空-3#

OpenMP 中，在 parallel 指令之前声明的变量默认是________变量。

答案： 共享

解释： 资料总结并行指令之前声明的变量默认共享。

来源： 并行复习 p.49

5-填空-4#

OpenMP 的 reduction 子句会为每个线程创建归约变量的________副本。

答案： 私有

解释： 资料说明 OpenMP 自动为每个线程创建 variable 的私有副本。

来源： 并行复习 p.50

5-填空-5#

`#pragma omp parallel for` 后面只能跟 ________ 循环。

答案： for

解释： 资料明确该指令后面只能跟 for 循环。

来源： 并行复习 p.50

5-填空-6#

如果第 i 次迭代依赖第 i-1 次迭代结果，就存在数据________，不能直接并行化。

答案： 依赖

解释： 资料用 a[i]=a[i-1]+1 说明数据依赖性冲突。

来源： 并行复习 p.51

5-填空-7#

schedule(static, 1) 在资料中表现为按线程轮转分配每次________个迭代。

答案： 一

解释： 资料用 12 次迭代、3 个线程、chunk size 为 1 展示轮转调度。

来源： 并行复习 p.54

5-填空-8#

atomic 通常只保护紧跟其后的________条共享变量更新语句。

答案： 一

解释： 资料说明 atomic 只保护接下来一条 C 语言赋值语句。

来源： 并行复习 p.58；并行复习 p.60

5-课本填空-1#

OpenMP 的 reduction 子句会为每个线程创建归约变量的________变量，运行时再按归约运算合并结果。

答案： 私有

解释： 课本解释 `reduction(+: global_result)` 时说明，OpenMP 为每个线程创建私有变量来存储线程结果，然后合并。

来源： 课本OCR-并行程序设计导论原书第2版 p.185

5-课本补充-填空-1#

OpenMP 的 `parallel for` 指令通过在线程之间分配循环的________来并行化 for 循环。

答案： 迭代

解释： 课本说明 parallel for 指令分叉线程执行结构化块，并通过在线程之间分配 for 循环迭代来实现并行化。

来源： 课本OCR-并行程序设计导论原书第2版 p.186

5-课本补充-填空-2#

schedule 子句中，`runtime` 类型表示调度方式在运行时由________变量确定。

答案： 环境

解释： 课本说明 runtime 调度是在运行时根据环境变量确定的。

来源： 课本OCR-并行程序设计导论原书第2版 p.197

5-课本补充-填空-3#

课本 OpenMP 任务示例中，`taskwait` 作为任务的________，强迫当前任务等待子任务完成。

答案： 栅栏

解释： 课本 Fibonacci 示例说明 taskwait 指令作为任务的一个栅栏，等待子任务完成。

来源： 课本OCR-并行程序设计导论原书第2版 p.214

5-课本概念-填空-1#

OpenMP 程序通常通过 `#pragma omp ________` 创建一组线程执行结构化块。

答案： parallel

解释： 课本 OpenMP 入门示例使用 `#pragma omp parallel` 分叉线程执行 Hello。

来源： 课本OCR-并行程序设计导论原书第2版 p.175

5-课本概念-填空-2#

OpenMP 归约子句 `reduction(+:x)` 中的 `+` 表示归约________。

答案： 运算符

解释： 课本解释 reduction 时说明加号表示归约运算符是加法。

来源： 课本OCR-并行程序设计导论原书第2版 p.185

5-课本概念-填空-3#

OpenMP `parallel for` 指令后面的结构化块必须是一个________循环。

答案： for

解释： 课本说明 parallel for 后的结构化块必须是 for 循环。

来源： 课本OCR-并行程序设计导论原书第2版 p.186

5-课本概念-填空-4#

OpenMP schedule 子句的一般形式是 `schedule(<type>[, <________>])`。

答案： chunksize

解释： 课本给出 schedule 子句形式为 `schedule(<type>[, <chunksize>])`。

答案： A

解释： 课本说明 taskwait 指令作为任务的栅栏，强迫任务等待子任务完成。

来源： 课本OCR-并行程序设计导论原书第2版 p.214

大题#

5-大题-1#

为什么资料中的第一个 OpenMP pi 值估计并行版本有问题？如何修改？

答案： 问题在于 `factor` 在并行区外定义，默认共享，并且每次迭代的正负号依赖前一次迭代，存在数据依赖和共享变量竞争。修改思路是把 `factor` 设为 private，并在每次迭代中由 k 的奇偶性独立计算 `factor=1.0` 或 `-1.0`，同时对 `sum` 使用 `reduction(+:sum)`。

解释： 资料在 pi 值估计部分给出了错误版本、原因和更新后的 private(factor)+reduction 写法。

来源： 并行复习 p.52；并行复习 p.53

5-大题-2#

比较 static、dynamic、guided 调度，并说明负载不均衡循环应如何选择。

答案： static 在循环开始前分配固定块，调度开销最小，但如果迭代耗时差异大，会导致某些线程过重。dynamic 把迭代分成小块，线程完成后动态领取新块，负载均衡好但有同步调度开销。guided 也是动态调度，但开始块大、后期块逐渐减小，适合大规模迭代。若迭代工作量随 i 增大而显著变化，默认 static 大块划分可能让后段线程过重，应考虑 dynamic 或 guided。

解释： 答案来自循环调度、schedule 子句和调度方式区别部分。

来源： 并行复习 p.53；并行复习 p.54；并行复习 p.55；并行复习 p.56；参考资料4 para 28；参考资料4 para 29

5-大题-3#

比较 OpenMP 中 critical、atomic 和锁，并说明嵌套 critical 为什么可能死锁。

答案： atomic 适合保护一条简单的共享变量更新语句，只保护紧跟其后的单一更新。critical 可以保护更一般的代码段；未命名 critical 默认使用同一全局锁，命名 critical 可区分不同临界区。锁通常更适合互斥数据结构。若在一个未命名 critical 内再次进入未命名 critical，线程已持有外层锁又尝试获取同一把锁，会自己等待自己而死锁；即使命名不同，也可能出现两个线程分别持有不同锁并等待对方锁的交叉死锁。

解释： 复习资料在 atomic、critical、锁和嵌套 critical 死锁处均给出说明。

来源： 并行复习 p.58；并行复习 p.59；并行复习 p.60；参考资料4 para 86；参考资料4 para 92

5-课本大题-1#

用课本 OpenMP 梯形法例子说明 `global_result += my_result` 为什么是临界区，并给出两种修正方法。

答案： 多个线程都会读写共享变量 `global_result`，且更新顺序会影响结果；课本时间表展示了两个线程分别计算 1 和 2 时可能最终只保存其中一个更新。因此该语句是临界区。修正方法一是用 `#pragma omp critical` 让每次只有一个线程更新；方法二是使用 `reduction(+: global_result)`，让每个线程写私有副本，最后由 OpenMP 合并。

解释： 课本先用时间表展示 `global_result += my_result` 的竞争条件，随后给出 critical 和 reduction 两种 OpenMP 改法。

来源： 课本OCR-并行程序设计导论原书第2版 p.180；课本OCR-并行程序设计导论原书第2版 p.181；课本OCR-并行程序设计导论原书第2版 p.185

5-课本大题-2#

课本中 OpenMP task/taskwait 的作用是什么？为什么 task 往往需要配合 single 使用？

答案： task 指令把函数调用或递归子问题创建为可由线程执行的任务；taskwait 像该任务的栅栏，强迫当前任务等待子任务完成后再继续使用结果。课本还说明，如果在 parallel 区中直接写多个函数调用，每个线程都会执行这些调用；single 可保证只有一个线程负责创建任务，再由线程组执行任务。

解释： 课本 Fibonacci 和函数调用示例分别解释了 taskwait 对子任务的等待，以及 single 防止所有线程重复创建同一批任务。

来源： 课本OCR-并行程序设计导论原书第2版 p.214；课本OCR-并行程序设计导论原书第2版 p.220

5-课本补充-大题-1#

为什么 OpenMP 的 `parallel for` 不能无条件用于所有 for 循环？

答案： OpenMP 只能直接并行化迭代次数可确定的 for 循环，不能直接并行化 while 或 do-while；更重要的是，循环迭代之间不能存在会改变结果的数据依赖。例如后一轮依赖前一轮结果的循环，直接并行化会破坏语义。

解释： 课本在 parallel for 注意事项中说明了 for 循环形式和迭代次数限制，前文也用数据依赖例子说明不能直接并行化。

来源： 课本OCR-并行程序设计导论原书第2版 p.187

5-课本补充-大题-2#

根据课本练习，说明如何用 OpenMP 改写计数排序，以及主要性能风险。

答案： 计数排序对每个元素 a[i] 计算列表中小于它的元素个数，再写入 temp[count]。外层 i 循环的各次计算相对独立，可用 parallel for 分配给线程；每个线程使用私有 count 和循环变量。风险在于算法本身是 O(n^2)，并且对相等元素的稳定性判断、temp 写入位置和内存访问模式都要正确处理，实际性能还要与串行 Count_sort 和 qsort 比较。

解释： 课本编程作业给出 Count_sort 串行代码，并要求实现并行版本、比较其与串行 Count_sort 和 qsort 的性能。

来源： 课本OCR-并行程序设计导论原书第2版 p.225；课本OCR-并行程序设计导论原书第2版 p.226

5-课本补充-大题-3#

课本练习中，矩阵-向量乘法为什么可能出现伪共享？两种缓解方式是什么？

答案： 如果多个线程写向量 y 中相邻元素，而这些元素落在同一缓存行上，不同处理器之间会不断使对方缓存行失效，即使线程写的是不同 y 元素，也会发生伪共享。缓解方式一是在 y 中填充，使不同线程同时写的元素不共享缓存行；方式二是让每个线程在私有存储中计算自己的 y 片段，完成后再复制到共享 y。

解释： 课本练习要求分析 8000x8000 矩阵-向量乘法中的伪共享，并提出填充 y 或使用线程私有 y 片段两种修改。

来源： 课本OCR-并行程序设计导论原书第2版 p.223；课本OCR-并行程序设计导论原书第2版 p.224

第六章 CUDA 异构编程#

填空题#

6-填空-1#

CUDA 中 CPU 端称为 host，GPU 端称为________。

答案： device

解释： 资料写明 CPU(host) 负责管理调度，GPU(device) 负责大规模并行计算。

来源： 并行复习 p.64

6-填空-2#

CUDA C 程序由 Host Code 和 ________ Code 两部分组成。

答案： Device

解释： 资料列出 Host Code 和 Device Code。

来源： 并行复习 p.64；并行复习 p.65

6-填空-3#

申请 GPU 显存使用 ________，释放 GPU 显存使用 cudaFree。

答案： cudaMalloc

解释： 资料列出 cudaMalloc 和 cudaFree。

来源： 并行复习 p.65

6-填空-4#

CUDA kernel 调用语法是 `kernel<<<gridDim, ________>>>(args);`。

答案： blockDim

解释： 资料给出 `kernel<<<gridDim, blockDim>>>(args);`。

来源： 并行复习 p.67

6-填空-5#

一维全局线程编号常写作 `blockDim.x * blockIdx.x + ________`。

答案： threadIdx.x

解释： 资料向量加法 kernel 示例使用该表达式。

来源： 并行复习 p.67

6-填空-6#

CUDA 线程组织三层是 Thread、Block 和 ________。

答案： Grid

解释： 资料列出 Thread、Block、Grid 三层。

来源： 并行复习 p.67

6-填空-7#

一个 warp 通常包含 ________ 个线程。

答案： 32

解释： 资料说明一个 warp 是 32 个线程。

来源： 并行复习 p.67；并行复习 p.68

6-填空-8#

`__syncthreads()` 是________级线程同步屏障。

答案： block

解释： 资料说明 `__syncthreads()` 适用于 block 级线程同步。

来源： 并行复习 p.69

6-填空-9#

Unified Memory 让 CPU 和 GPU 使用同一________访问内存。

答案： 指针

解释： 资料说明 Unified Memory 让 CPU 和 GPU 使用同一指针访问内存。

来源： 并行复习 p.71

6-填空-10#

共享内存 bank conflict 会导致访问被________化，从而降低性能。

答案： 串行

解释： 资料说明 bank conflict 时 CUDA 会串行化访问。

来源： 并行复习 p.71

6-课本填空-1#

CUDA 程序中，threadIdx.x 给出线程在其线程块中的相对索引；blockIdx.x 给出________在网格中的索引。

答案： 线程块

解释： 课本说明 threadIdx.x 是线程在块中的索引，blockIdx.x 是块在网格中的索引。

来源： 课本OCR-并行程序设计导论原书第2版 p.235

6-课本补充-填空-1#

从主机角度看，CUDA 核函数调用通常是________的；若主机要使用设备结果，可调用 cudaDeviceSynchronize。

答案： 异步

解释： 课本小结说明核函数在设备上启动后，设备和主机可以同时执行；主机可通过 cudaDeviceSynchronize 阻塞等待设备完成。

来源： 课本OCR-并行程序设计导论原书第2版 p.274

6-课本补充-填空-2#

CUDA 统一内存最常用的分配函数是________。

答案： cudaMallocManaged

解释： 课本小结给出 `cudaMallocManaged(void** ptr, size_t size)` 用于分配统一内存。

来源： 课本OCR-并行程序设计导论原书第2版 p.275

6-课本补充-填空-3#

CUDA 中线程块集合称为________。

答案： 网格

解释： 课本小结说明由核函数启动的线程块集合称为网格。

来源： 课本OCR-并行程序设计导论原书第2版 p.274

6-课本概念-填空-1#

CUDA 线程可通过 threadIdx、blockIdx、blockDim 和 ________ 获取网格信息。

答案： gridDim

解释： 课本第6章小结列出线程可检查的四个结构：threadIdx、blockIdx、blockDim、gridDim。

来源： 课本OCR-并行程序设计导论原书第2版 p.274

6-课本概念-填空-2#

CUDA 中线程束中的线程以________方式执行。

答案： SIMD

解释： 课本小结说明线程束是线程块中线程的子集，线程束中的线程以 SIMD 方式执行。

来源： 课本OCR-并行程序设计导论原书第2版 p.275

6-课本概念-填空-3#

CUDA 原子操作 `atomicAdd(xp, y)` 会把 y 加到 ________ 指向的内存位置。

答案： xp

解释： 课本给出 atomicAdd 语义：将 y 添加到 xp 指向的内存位置，并返回原始值。

来源： 课本OCR-并行程序设计导论原书第2版 p.276

6-课本概念-填空-4#

共享内存被划分为多个________，若同一 warp 多线程访问同一库不同位置会串行化。

答案： 库

解释： 课本说明共享内存被划分为库，访问不同库可并行，访问同一库不同位置必须串行化。

答案： A

解释： 课本说明多个线程访问同一库中不同内存位置时必须串行化；读取同一位置可广播。

来源： 课本OCR-并行程序设计导论原书第2版 p.262

大题#

6-大题-1#

说明一个简单 CUDA 向量加法程序的 host-device 基本流程。

答案： Host 端先准备输入数据并用 cudaMalloc 申请 GPU 显存，然后用 cudaMemcpyHostToDevice 将数据从 CPU 拷贝到 GPU。随后调用 `__global__` kernel，kernel 中每个线程通过 `blockDim.x * blockIdx.x + threadIdx.x` 计算自己的全局编号并处理一个或一段数据。kernel 调用后可用 cudaDeviceSynchronize 等待 GPU 完成，再用 cudaMemcpyDeviceToHost 把结果拷回 CPU，最后 cudaFree 释放 GPU 显存。

解释： 答案综合资料中的 cudaMalloc/cudaMemcpy/cudaFree、kernel、线程编号和同步说明。

来源： 并行复习 p.65；并行复习 p.66；并行复习 p.67；课程要点-CUDA体系结构 para 4；课程要点-CUDA体系结构 para 5；课程要点-CUDA体系结构 para 6

6-大题-2#

解释 warp 分支分化和 divergent loop 为什么会降低性能。

答案： 一个 warp 中的线程按 SIMD 模式执行，同一时刻只能执行同一条指令。如果同一个 warp 内线程因为 `threadIdx.x` 等条件进入不同分支，硬件会先执行一条路径并屏蔽另一部分线程，再执行另一条路径并屏蔽前一部分线程，等价于串行化不同路径。divergent loop 也是类似：循环次数不同的线程在每一轮中只有尚未结束的线程继续执行，其他线程被屏蔽，导致有效并行度下降。

解释： 资料在分支分化和 divergent loop 小节直接解释了两次路径执行和循环轮次屏蔽。

来源： 并行复习 p.68；并行复习 p.69；课程要点-CUDA体系结构 para 11；课程要点-CUDA体系结构 para 12

6-大题-3#

概述 CUDA 内存模型，并解释共享内存 bank conflict 及一种避免方法。

答案： CUDA 存储层次包括寄存器、本地内存、共享内存、全局内存和常量内存。寄存器属于线程且在片上；本地内存虽然名字叫本地，但大数组等可能存放在片外；共享内存位于片上，由一个 block 内线程共享；全局内存和常量内存可被所有线程访问。共享内存被划分为多个 memory bank，如果同一 block 内多个线程在同一时钟周期访问同一 bank 的不同地址，就会发生 bank conflict，访问被串行化、性能下降。避免方法包括让不同线程访问不同 bank，或通过 padding 改变地址映射。

解释： 资料的 CUDA 内存模型表格和共享内存 bank conflict 小节给出这些点；体系结构 DOCX 也标注了 GPU memory structures 对应课本页码。

来源： 并行复习 p.70；并行复习 p.71；并行复习 p.72；课程要点-计算机体系结构-量化研究方法-第六版-第四章 para 14；课程要点-CUDA体系结构 para 15；课程要点-CUDA体系结构 para 16

6-课本大题-1#

说明 CUDA 中 warp 分歧和 `__syncthreads()` 的两个重要限制。

答案： 一个 warp 当前通常包含 32 个线程，并以单指令流多数据流方式运行；同一 warp 内线程走不同 if-else 分支时会发生分歧，分支路径需要分别执行，影响效率。`__syncthreads()` 的限制有两点：第一，块中所有线程都必须执行到该调用，否则部分线程会永久等待；第二，它只同步同一个线程块内的线程，不能同步普通网格中的不同线程块。

解释： 课本分别在 warp 小节和 `__syncthreads()` 警告中说明了分歧、所有线程都必须调用、以及只同步一个块。

来源： 课本OCR-并行程序设计导论原书第2版 p.253；课本OCR-并行程序设计导论原书第2版 p.259；课本OCR-并行程序设计导论原书第2版 p.260

6-课本补充-大题-1#

解释 CUDA 统一内存的便利性和限制。

答案： 统一内存通过 cudaMallocManaged 分配，返回的指针在主机和设备上都有效，系统会在主机和设备之间自动复制更新的数据，简化了显式 cudaMemcpy 管理。但统一内存不能让设备访问主机栈变量地址；在某些设备上主机和设备不能同时访问同一统一内存；性能也可能比显式区分主机/设备内存更慢。

解释： 课本统一内存段落说明了 cudaMallocManaged 的语义、主机栈指针限制和统一内存可能较慢的注意事项。

来源： 课本OCR-并行程序设计导论原书第2版 p.240；课本OCR-并行程序设计导论原书第2版 p.275

6-课本补充-大题-2#

比较 CUDA 线程束洗牌和共享内存在树形求和中的作用。

答案： 两者都用于快速实现树结构全局求和，减少昂贵的全局原子更新。线程束洗牌允许同一 warp 内线程读取其他线程寄存器中的值，可用 `__shfl_down_sync` 做树形合并；共享内存方案把中间结果存入块内共享内存，再用块内同步保证各 warp 结果可见。共享内存方案还要注意 bank conflict。

解释： 课本说明 CUDA 提供线程束洗牌和共享内存两种快速树结构操作替代方法，并给出共享内存同步和库冲突分析。

来源： 课本OCR-并行程序设计导论原书第2版 p.261；课本OCR-并行程序设计导论原书第2版 p.262；课本OCR-并行程序设计导论原书第2版 p.276

6-课本补充-大题-3#

为什么并行双调排序在小输入上不一定比 qsort 快，但在大输入上可能明显更快？

答案： 小输入时 GPU 启动、同步和并行算法额外步骤的开销占比高，课本 2048 个整数实验中 qsort 比单块并行双调排序更快或相近；大输入时大量线程块和线程能充分利用 GPU 并行度，课本 2,097,152 个整数实验中并行双调排序比串行 qsort 快 40 多倍。

解释： 课本表 6.18 和 6.19 比较了小列表和大列表上 qsort、串行双调排序和并行双调排序的运行时间。

来源： 课本OCR-并行程序设计导论原书第2版 p.273

并行程序设计复习题库

并行程序设计复习题库#

题量概览#

目录#

第一章 为什么要并行计算#

填空题#

1-填空-1#

1-填空-2#

1-填空-3#

1-填空-4#

1-填空-5#

1-填空-6#

1-填空-7#

1-填空-8#

1-课本填空-1#

1-课本补充-填空-1#

1-课本补充-填空-2#

1-课本补充-填空-3#

1-课本概念-填空-1#

1-课本概念-填空-2#

1-课本概念-填空-3#

1-课本概念-填空-4#

判断题#

1-判断-1#

1-判断-2#

1-判断-3#

1-判断-4#

1-判断-5#

1-判断-6#

1-课本判断-1#

1-课本补充-判断-1#

1-课本补充-判断-2#

1-课本概念-判断-1#

1-课本概念-判断-2#

1-课本概念-判断-3#

选择题#

1-选择-1#

1-选择-2#

1-选择-3#

1-选择-4#

1-选择-5#

1-选择-6#

1-课本选择-1#

1-课本补充-选择-1#

1-课本补充-选择-2#

1-课本概念-选择-1#

1-课本概念-选择-2#

1-课本概念-选择-3#

大题#

1-大题-1#

1-大题-2#

1-大题-3#

1-课本大题-1#

1-课本补充-大题-1#

1-课本补充-大题-2#

1-课本补充-大题-3#

第二章 并行硬件和软件#

填空题#

2-填空-1#

2-填空-2#

2-填空-3#

2-填空-4#

2-填空-5#

2-填空-6#

2-填空-7#

2-填空-8#

2-课本填空-1#

2-课本补充-填空-1#

2-课本补充-填空-2#

2-课本补充-填空-3#

2-课本概念-填空-1#

2-课本概念-填空-2#

2-课本概念-填空-3#

2-课本概念-填空-4#

判断题#

2-判断-1#

2-判断-2#

2-判断-3#

2-判断-4#

2-判断-5#

第一章为什么要并行计算#

第二章并行硬件和软件#