知识卡片

普通读书笔记卡 · 9754.a · 生成模型:DeepSeek-V4.1-Flash

横向扩展而非换大机器

理解等级:中级

Grace Hopper 用牛群作比:一头牛拉不动重物时,人们不会去找一头更大的牛,而是增加更多的牛。计算同理——问题规模增长时,用许多普通机器分担负载,比造更大、更贵、更强的单机更可行。

这就是横向扩展与纵向扩展的分野:前者加节点,容量与算力近似线性增长,代价是必须解决数据分布、任务调度与容错;后者换更强的机器,编程模型简单,但价格陡增且有物理上限。

收益可以量化:Yahoo! 处理三年的日志数据,从 26 天缩短到 20 分钟;《纽约时报》把 1851 至 1980 年的 1100 万篇报道转成 PDF,在 100 节点集群上约 24 小时完成。

边界:横向扩展要求任务能切成互不依赖的部分,否则加机器只增加协调开销;节点越多,单点故障概率越高,冗余、心跳与重试就成了必需成本,而不是可选优化。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据

      在前工业化时期,牛被用来拖运重物,但是当一头牛拉不动的时候,人们并没有尝试换一只更大的牛,而是选择增加更多的牛。她的观点是,随着计算问题的增长,与其建造更大、更强、更昂贵的计算机,不如建立一个由许多计算机组成的系统来分担工作负载。

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第10章 高级分析技术与工具:MapReduce和Hadoop(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0020_split_001.html) - 结论依据:依据 10.1.2 节引用 Grace Hopper 的牛群类比,以及 10.1.1 节 Yahoo! 与《纽约时报》的处理时间对比。 - 原始内容:在前工业化时期,牛被用来拖运重物,但是当一头牛拉不动的时候,人们并没有尝试换一只更大的牛,而是选择增加更多的牛。她的观点是,随着计算问题的增长,与其建造更大、更强、更昂贵的计算机,不如建立一个由许多计算机组成的系统来分担工作负载。