物理学中的并行计算

并行计算将物理模拟分解到多个处理器上同时进行，要正确实现这一点，需要对问题进行分解、协调数据交换并理解限制加速的定律。

Definition

物理学中的并行计算是将模拟分解为多个任务，这些任务在多个处理器或核心上并发执行，协调它们的数据和同步，以比串行执行更快地解决更大的问题。

Scope

本主题涵盖物理学中的并行编程：共享内存线程和分布式内存消息传递、域分解和负载均衡、通信模式和开销，以及阿姆达尔定律和古斯塔夫森定律的加速比限制。它探讨了物理模型如何映射到并行硬件以及如何分析可扩展性。

Core questions

• 物理模拟如何在处理器之间进行分解并实现负载均衡？
• 共享内存和分布式内存模型在编程和扩展性方面有何不同？
• 通信开销如何限制并行效率？
• 阿姆达尔定律和古斯塔夫森定律对可实现的加速比有何预测？

Key theories

域分解和负载均衡

模拟域被划分到处理器之间，每个处理器计算其区域并交换边界数据；工作的均匀分布和最小的通信是决定并行效率的关键。

强扩展性和阿姆达尔定律

对于固定规模的问题，串行部分限制了最大加速比，因此增加处理器会带来收益递减，这种限制被称为强扩展性，并由阿姆达尔定律量化。

弱扩展性和古斯塔夫森定律

当问题规模随处理器数量增长时，可以实现更大的加速比，正如古斯塔夫森所观察到的，因为并行工作量随之扩展，而串行部分保持不变。

Clinical relevance

并行计算通过将大型分子动力学、格点场论、流体和天体物理模拟分散到集群和超级计算机上，使这些模拟成为可能，是任何大规模计算物理工作的基本技能。

History

并行科学计算从早期的向量机和共享内存机器发展到使用消息传递接口编程的分布式集群；阿姆达尔在1967年对加速比的悲观预测，被古斯塔夫森在1988年提出的“问题规模的扩大会改变计算方式”的见解所补充。

Key figures

• Gene Amdahl
• John Gustafson
• Peter Pacheco

Seminal works

• amdahl1967
• gustafson1988

Frequently asked questions

强扩展性和弱扩展性有什么区别？

强扩展性保持问题规模不变，并探讨增加处理器能带来多大的加速，这受阿姆达尔定律的限制。弱扩展性则随着处理器数量的增加而扩大问题规模，正如古斯塔夫森所指出的，这使得大型机器对于相应的大规模模拟保持高效。

为什么通信会限制并行性能？

处理器必须交换边界数据和全局数据，这种通信所需的时间并不会像计算时间那样随着处理器数量的增加而快速减少。因此，在某个点之后，通信开销会占据主导地位，导致效率下降。