并行减速

并行减速（Parallel slowdown）是并行计算中的一种现象，当中并行算法的并行化超过一定程度后，会导致运行变慢（需要更多时间运行）。

采用次优并行化的实际程序的运行时间（蓝）与程序加速（红）示意图。虚线表示最优并行化，速度线性增加，程序运行时间线性减少。注意，最终运行时间实际上会随处理器数量增加（速度提升会减少），这就是并行减速。

并行减速通常是通信瓶颈造成的。处理器节点花费在通信上的时间将随处理器数量的增加，逐渐超过有效的处理时间。增加处理器节点产生的通信开销一旦超过节点的处理能力，就产生了并行减速。

算法若需要大量通信、特别是中间结果的通信时，就会出现并行减速。有些问题（称作过易并行问题）不需要这类通信，因此不会受到并行减速影响。

另见

• 人月神话