知识卡片

普通读书笔记卡 · 9791.d · 生成模型:DeepSeek-V4.1-Flash

分布式=用多机分治

理解等级:初级

一百亿对浮点数相乘,单机循环跑不出结果;为此买一台超级计算机成本又不可接受。可行的办法是分治:把数据切成多份,多台普通机器各算一部分,最后汇总,机器差一点也无所谓。这就是分布式计算的出发点。它的代价被故事省略了:数据要分发、结果要汇总,机器一多,坏机器就从意外变成常态,所以还要处理负载均衡、数据正确性与完整性、故障恢复。收益也不是无条件的——只有可并行的部分才能随机器数增长,若每一步都依赖前一步的全部结果,加机器也不会更快。这也解释了后面 MapReduce 为什么要求计算能先局部聚合。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第4章 如何计算得更快 · 查看原书依据

      那就需要第二种方法,用术语说叫分治思想,用俗语说就是人海战术。既然1百亿个数没法计算,那么就多找几台机器,机器差点都无所谓,每台机器计算一部分,然后最后汇总起来,不就快了。

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第4章 如何计算得更快(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00011.html) - 结论依据:原文这一段直接给出本卡的核心判断:「那就需要第二种方法,用术语说叫分治思想,用俗语说就是人海战术。既然1百亿个数没法……」 - 原始内容:那就需要第二种方法,用术语说叫分治思想,用俗语说就是人海战术。既然1百亿个数没法计算,那么就多找几台机器,机器差点都无所谓,每台机器计算一部分,然后最后汇总起来,不就快了。