知识卡片

普通读书笔记卡 · 3120

Google技术论文与开源大数据生态的思想传承关系

理解等级:未标注

书中所述的开源大数据技术栈(Hadoop/Spark生态)并非凭空产生,而是对Google内部系统论文思想的开源复现——Google选择只发表论文、不开源实现代码,但这些论文仍然直接指明了后续十年开源大数据技术的发展方向。这种”发表原理、不开源实现”的模式本身值得关注:数据存储层的GFS论文催生了HDFS,BigTable论文催生了HBase;资源管理与协调层的Borg/Omega(集群资源统一调度)与Chubby(提供粗粒度锁和可靠存储、支持leader选举)的设计理念分别投射到YARN和ZooKeeper的能力边界上;计算引擎层MapReduce论文直接对应开源MapReduce,Dremel(列式存储+树状架构,秒级处理PB级数据的OLAP系统)的思想影响了后续Impala/Presto等交互式查询系统,Pregel的BSP图计算模型、MillWheel的低延迟流处理模型也各自在开源世界找到了呼应者。需要注意的是,这种对应关系是”设计思想上的呼应”而非”逐行照搬的克隆”——开源实现往往结合社区实际需求做了取舍和再设计,不能理解成开源系统就是对应论文的字面翻版。可迁移启发:一个技术领域如果有若干篇被反复引用的奠基性论文,跟踪这些论文的核心设计取舍,往往比追踪某个具体开源项目的版本更新更能把握这个领域十年尺度的演进逻辑,因为工具会迭代甚至被替代,但论文里回答的那个原始工程问题及其解法思路更稳定。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第1章《企业级大数据技术体系概述》之"1.3 企业级大数据技术实现方案"(源文件:_epub-src/OEBPS/text00007.html) - 结论依据:原文说明"Google在大数据方面的技术,均是以发表论文的形式对外公开的,尽管其没有对外开源系统实现代码,但这些论文直接带动了大数据技术的发展……Google公开发表的大数据系统方面的论文目前绝大部分都存在对应的开源系统实现",并逐层列出GFS/BigTable/MegaStore/Spanner(存储层)、Borg/Omega/Chubby(资源管理与协调层)、MapReduce/Dremel/Pregel/Precolator/MillWheel(计算引擎层)、FlumeJava/Tenzing(数据分析层)等论文与其对应领域,直接支撑本卡的思想传承脉络。 - 原始内容:Chubby[Bur06]: 该系统旨在为松散耦合的分布式系统提供粗粒度的锁以及可靠存储(低容量的),它提供了一个非常类似于分布式文件系统的接口,能够很容易的实现leader选举、分布式锁、服务命名等分布式问题,它设计的侧重点在可用性及可靠性而不是高性能。……Dremel[MGL+10]: Dremel是一个分布式OLAP(OnLine Analytical Processing)系统,通过引入列式存储、树状架构等技术,能够帮助数据分析师在秒级处理PB级数据。