知识卡片
并行不能缩短依赖链
常见辩护:大脑是并行机器,几十亿细胞同时算,所以慢神经元也能快起来。
搬石头比喻:100块石头一次一块运过沙漠,单程需要100万步。雇100个工人,速度快100倍,但仍要走100万步;加到1000人,不再有任何额外收益。
对应到机器:并行计算机做天气预报,每台机器负责不同地点,单机仍要执行数十亿乃至数万亿步。处理器再多,也无法让一个百步之内无解的任务变得可解。
要点:并行压缩的是总耗时,不压缩依赖链长度;能否在100步内完成,取决于任务有没有可以一步到位的捷径。
边界:这条论证针对强依赖的串行任务,对可完全切分的任务并行确实有效——正因为大脑两类任务都做得成,才说明它走的不是并行暴力求解。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 从记忆中检索答案的大脑 · 查看原书依据
尽管每台计算机可以同时在不同的地点工作,但即使有数百甚至数千台计算机并行工作,单台计算机仍然需要执行数十亿或数万亿个步骤来完成任务。并行计算机在100步内不可能完成任何有意义的任务,无论这台计算机的体型有多大,运行速度有多快。
参考来源
- 位置:《新机器智能》第4章《从记忆中检索答案的大脑》(源文件:extracted/新机器智能/_epub-src/OEBPS/Text/part0017.xhtml)
- 结论依据:原文用并行机预测天气与搬石头穿沙漠两例,说明增加处理器不减少单链步数,从而排除“靠并行弥补速度”的解释。
- 原始内容:尽管每台计算机可以同时在不同的地点工作,但即使有数百甚至数千台计算机并行工作,单台计算机仍然需要执行数十亿或数万亿个步骤来完成任务。并行计算机在100步内不可能完成任何有意义的任务,无论这台计算机的体型有多大,运行速度有多快。