此笔记位置已失效,请从目录继续阅读。
全书导读
本书回答一个贯穿数据系统的问题:怎样既能快速回答查询,又能在程序和机器出错后重新得到可信结果?它把原始事实与计算结果分开,先保存可恢复输入,再为读取、更新和恢复安排不同的计算与存储方式。网页分析贯穿全书:浏览量是计数,独立访客涉及身份关系与近似集合,跳出率涉及会话和未发生事件。三个指标逐渐揭示分层设计中的真实条件。
第1—9章建立事实模型、文件存储和批处理视图;第10—11章把结果索引成低延迟服务;第12—17章处理尚未进入历史视图的新数据;第18章回到容量、变体和查询合并。具体框架属于出版时实例,适合迁移的是信息保留、任务边界及失败语义。
全书主线
全书的起点是“查询是已知数据的函数”。不可变事实提供重算依据,批处理把昂贵计算提前做成视图,服务层将它们索引成可快速访问的数据。因为视图生成有延迟,速度层维护尚未覆盖的近期状态,查询层再按明确边界组合两者。服务层覆盖推进后,临时状态才可清理。
这条主线在三个层面展开:建模时保存足够的原始信息,不把身份关系或派生指标提前压成不可纠正的唯一值;执行时用分区、聚合、重试和版本发布管理成本;恢复时分清投递成功、幂等效果、持久状态及全局一致可见性。书中各工具展示这些责任的组合,工具名称本身不是架构保证。
flowchart TD
A[原始事实] --> B[不可变主数据集]
B --> C[批量计算视图]
C --> D[服务层索引]
A --> E[近期增量状态]
D --> F[查询合并]
E --> F
D -.覆盖进度允许清理.-> E
译者序
译者序说明阅读对象:从社交媒体等数据出发,学习怎样选择数据模型、架构与分析工具。它为读者提供本书的阅读动机,也提醒译文术语可能存在误差。这里提及工具的目的主要是描述全书范围,不把赞誉、人物履历或成书时的行业地位当作新的技术结论。
前言
数据系统既要能扩容,也应从错误中恢复。前言以误删同事收集的数据为例,提出一种比机器故障更容易被忽视的风险:开发者和运维人员也会犯错。若唯一保存的只是被程序不断改写的结果,修复代码并不能自动找回正确状态。保留不可变输入、让结果能够重新计算,是后文贯穿始终的设计方向;它并不意味着原始存储可以不做保护。
关于本书 / 路线图 / 代码下载和约定 / 作者在线 / 关于封面插图
本书把理论章与示例章交替安排。理论章解释数据模型、批处理、服务查询和实时计算应满足的条件,示例章用具体工具把这些条件落实到代码。第一部分构建主数据集与批处理视图,第二部分让视图支持低延迟查询,第三部分补新数据的新鲜度,最后讨论变体及资源优化。示例系统是贯穿全书的网页分析服务,而不是互不相关的产品教程。代码仓库与作者论坛属于阅读入口;此处未核验它们如今的可用状态。
致谢
致谢介绍本书与开源项目、教学及编辑工作的关系。一个可以独立借鉴的写作方法是先用读者能辨认的例子引入一般概念,再解释可以迁移的机制。作者将其同时用于技术书、博客、演讲与日常沟通。本节提及的MapReduce、Dynamo等作品作为背景文献登记,不把致谢名单扩写为技术说明。
用实例引入抽象概念可继续阅读这一想法的具体机制与边界。
原书依据 · 1 处
第1章 大数据的新范式
本章先展示数据量增加怎样迫使一个简单的网页计数服务逐步引入队列、分片与副本,再问这些措施为什么仍没有消除复杂性。Lambda架构是后文给出的组合方案:保留能够重新解释的原始事实,让慢速、可重跑的计算与快速、暂时的增量计算各负其责。本书关注的既是处理量,也是结果为什么产生以及出错后如何恢复。
1.1 本书是如何组织的
阅读本书要区分工具与设计原则。Hadoop、Cassandra、Storm和Thrift在示例中承担不同角色,理解它们为何被放在相应位置,比记住产品名称更重要。理论章也使用案例;示例章则把算法、索引与数据流变成工作代码。因此,本轮把示例正文一并纳入覆盖,不沿用历史“工具过时所以略读”的取舍。
1.2 扩展传统数据库 / 1.2.1 用队列扩展 / 1.2.2 通过数据库分片进行扩展 / 1.2.3 开始处理容错问题 / 1.2.4 损坏问题 / 1.2.5 到底是哪里出错了 / 1.2.6 大数据技术是如何起到帮助作用的
计数服务最初由网页服务器直接更新数据库。请求增加后,先把事件放进队列,再由工作进程取一批进行写入,可以摊薄请求成本,并让短时过载表现为积压。当数据库持续成为瓶颈时,分片把不同键的数据交给不同机器;但应用也必须知道路由规则,跨片查询还需要合并结果。继续增加副本、失败等待队列和重分片脚本,虽然逐个解决局部问题,也让正确性依赖更多配合。
本节最重要的反例是人为错误:把每次浏览加1错写成加2后,普通备份未必能分辨哪些增量受到污染。保存原始页面浏览事件,使错误可以被识别并重新计算,而不是直接覆盖唯一可信的历史。原始数据本身仍须保护;“不可变”减少误覆盖的面,并非保证所有写入都正确。
批量写入摊薄开销可继续阅读这一想法的具体机制与边界。
分片扩展需统一路由可继续阅读这一想法的具体机制与边界。
复杂性来自增量可继续阅读这一想法的具体机制与边界。
原始数据优先可继续阅读这一想法的具体机制与边界。
1.3 NoSQL不是万能的
NoSQL是一些数据系统的集合称呼,并不提供同一种能力。书中以批处理系统的高计算延迟、随机访问数据库的数据模型限制与可变状态为例,说明解决部分扩展问题不等于解决整个数据系统的问题。架构需要组合不同能力,并明确各自承担的数据与故障责任。
NoSQL不是银弹可继续阅读这一想法的具体机制与边界。
原书依据 · 1 处
1.4 基本原理
数据系统以掌握的信息回答问题。账户余额可以来自交易记录,好友数可以来自好友关系;继续追溯,才得到无法再从其他已知信息派生的输入。本书以query = function(all data)表示这种关系:查询结果是对已有事实进行计算的产物。这个定义帮助区分权威输入与可再生视图,而不是要求每次查询都扫描全部数据。
译文先把“数据”定义为原始信息,随后一句又写成“派生得到的特殊信息”,与上下段及第2章的定义冲突。本笔记按实际论证区分原始事实与派生信息,保留来源原貌,不将这句内部矛盾扩写成新结论。
1.5 大数据系统应有的属性 / 1.5.1 鲁棒性和容错性 / 1.5.2 低延迟读取和更新 / 1.5.3 可扩展性 / 1.5.4 通用性 / 1.5.5 延展性 / 1.5.6 即席查询 / 1.5.7 最少维护 / 1.5.8 可调试性
本节给出八项设计目标。鲁棒性和容错性关注遇到机器故障或人为错误后仍能正确工作;低延迟读取是查询返回快,低延迟更新则是新事实尽快体现在结果里。可扩展性解决负载增加后的资源扩容,延展性解决新增功能与数据迁移。通用性关注能支持哪些应用,即席查询允许探索预先没有安排的问题。
最少维护与可调试性约束了实现方式:组件内部机制越复杂,运维越需要理解其失败模式;若保留每步的输入输出,就更容易解释一个错误结果的来源。八项目标不是购买一个数据库就能同时获得的特性,后文会通过分层分配责任。
读取快不代表更新快可继续阅读这一想法的具体机制与边界。
扩容与功能演化不同可继续阅读这一想法的具体机制与边界。
保留中间结果便于调试可继续阅读这一想法的具体机制与边界。
数据系统属性可继续阅读这一想法的具体机制与边界。
1.6 全增量架构的问题 / 1.6.1 操作复杂性 / 1.6.2 实现最终一致性的极端复杂性 / 1.6.3 缺乏容忍人为错误 / 1.6.4 全增量架构解决方案与Lambda架构解决方案
全增量架构收到新事件后修改已有状态。它的问题跨越SQL与NoSQL,不能仅用数据库名称判断。首先,读写存储可能需要在线合并来回收索引空间,合并占用资源,多节点重叠执行时还可能触发级联过载。其次,分区期间允许多个副本继续更新,恢复连接后需要知道哪些更新互相独立。两个从10开始的副本成为12和11,不能仅由最终两个数普遍推得13。
第三,人为错误可以直接污染不断变化的结果。保留事件日志提供重新构建结果的机会,但不会自动消除在线合并和冲突修复的复杂性。最后,本节以独立访客统计说明历史依赖:用户等价关系变化,会改变对过去访问事件的解释。这里比较的是书中特定方案;给出的性能和误差倍数不能当作所有增量系统的普遍定律。
在线合并会挤占容量可继续阅读这一想法的具体机制与边界。
计数副本不能直接合并可继续阅读这一想法的具体机制与边界。
1.7 Lambda架构 / 1.7.1 批处理层 / 1.7.2 服务层 / 1.7.3 批处理层和服务层满足几乎所有属性 / 1.7.4 速度层
Lambda架构把原始事实、预计算结果与新鲜度补偿分开。批处理层保存主数据集,运行函数生成批处理视图。服务层加载这些视图,支持按索引快速读取,更新则以批量替换为主。例如按URL和日期保存浏览量,查询一个日期范围时只需取对应日计数再求和。视图让查询变快,但生成视图期间到达的新数据还没有进入结果。
速度层处理这部分近期数据,依据已有实时状态和新事件增量更新。查询读取批处理视图与实时视图,按一致的口径组合结果。等批处理结果覆盖了同一段数据,相应的实时状态就可丢弃。这是复杂性隔离:把难维护的增量状态放在暂时层,核心事实仍能支持重建。
分层也允许准确性上的选择。速度层可以为较快响应采用近似计算,再由后续准确批处理修正;它也可以使用精确增量算法。近似不是速度层的必备属性,系统的准确性仍取决于具体算法与结果合并规则。
复杂状态应当可丢弃可继续阅读这一想法的具体机制与边界。
批速分工支持最终准确可继续阅读这一想法的具体机制与边界。
Lambda三层可继续阅读这一想法的具体机制与边界。
1.8 技术上的最新趋势 / 1.8.1 CPU并不是越来越快 / 1.8.2 弹性云 / 1.8.3 大数据充满活力的开源生态系统
本节从成书时的技术背景解释组件分工。单核性能不能无限替代并行计算,水平扩展需要任务能够分散到多台机器。弹性资源则让大作业临时获得更多节点;若节点可能消失,计算框架必须能恢复失败任务。
五类工具各有职责:批处理系统处理高吞吐计算,序列化框架定义对象及跨语言表示,随机访问数据库组织在线操作,消息队列传递事件,实时系统持续处理新输入。书中的产品、企业归属及AWS竞价描述属于出版时期的信息,这里只用它们解释历史设计动机,没有将其作为2026年的产品事实或采购建议。
工具要匹配数据职责可继续阅读这一想法的具体机制与边界。
弹性资源依赖软件容错可继续阅读这一想法的具体机制与边界。
序列化分离语言表示补充本节的定义。
1.9 示例应用:SuperWebAnalytics.com
贯穿全书的SuperWebAnalytics.com需要回答三种查询:按时间范围统计页面浏览量、统计去重后的独立访客、计算只访问一页的会话比例即跳出率。三种指标涉及的状态不同,后文会分别推导视图、算法和查询接口。它们是检验架构可用性的案例,不是本轮已经部署或跑出的系统。
区分三种网页分析指标补充本节的定义。
1.10 总结
第一章把可扩展性、可恢复性和可解释性放在同一个问题中。保存完整输入并允许重新计算,不仅用于修错,也支持新数据模型与新查询。各组件有意限制职责,使它们更容易预测与维护。接下来进入批处理层之前,要先回答最核心的问题:什么应该被永久保存为事实。
第一部分 批处理层
第一部分按照数据模型、物理存储、批量计算和完整应用四个层次展开。第2、3章先确定保存什么及怎样表示,第4、5章讨论怎样保存,第6、7章讨论怎样计算,第8、9章再把这些选择连接成网页分析的工作流。理论章和代码示例的交替,让抽象约束能够对应到具体实现。
第2章 大数据的数据模型
主数据集是系统计算的事实来源。服务层与速度层数据可以丢失后重建,原始事实若无法恢复,派生计算就失去了依据。因此,数据模型的选择首先约束保存哪些历史信息,而不是先追求某条查询多快。接下来的小节区分原始信息、视图、时间事实与可实施模式。
2.1 数据的属性 / 2.1.1 数据是原始的 / 2.1.2 数据是不可变的 / 2.1.3 数据是永远真实的
数据的原始性指本系统还能从哪些输入推导其他信息。好友变化事件可以产生当前好友列表,列表可以产生好友数,但反向推导会丢失历史。因此保存输入边界会决定未来可回答的问题。原始性也取决于观察者:拥有完整出生日期的平台可以算出生日,只看到公开生日的外部系统则没有更底层输入。
语义规范化把自由文本解释为标准对象。若算法会改进,应保留可重新解释的输入;但保存最多字节并不等于最有价值的原始数据,网页容器、样式与脚本未必都属于要分析的内容。
不可变记录通过时间戳表达历史:新位置追加为新事实,旧位置仍描述旧时刻。正常变化不原地覆盖;错误事实清理、数据保留等特殊删除,则先构造副本并核验后替换。时间戳维护的是事实所处时刻,不保证采集和写入从来不犯错。
原始性取决于观察者继续解释这一机制。
保留语义规范化输入继续解释这一机制。
原始数据不等于最多字节继续解释这一机制。
时间戳绑定历史事实继续解释这一机制。
清理事实先验证副本继续解释这一机制。
事实不可变继续解释这一机制。
粒度决定弹性继续解释这一机制。
2.2 基于事实的数据表示模型 / 2.2.1 事实的示例及属性 / 2.2.2 基于事实的模型的优势
基于事实的数据模型把记录拆成原子单元,并附上时间。还应让事件可识别,以区分不同真实事件和同一事件的重复副本。例如两次访问的时间、URL和IP相同,仍不能证明它们是同一事件;稳定的区分标志使重试数据能够在查询时被去重。
事实拆分让部分信息自然存在:不知道某属性时不必写占位记录,以后收到再追加。保留历史还能重建过去状态。主数据集重视规范化和事实一致性,批处理视图则可以为查询保留冗余信息;两者职责分离,不必让一份可变存储同时承担所有目标。
原子事实支持部分信息继续解释这一机制。
事实标识区分重试继续解释这一机制。
2.3 图模式 / 2.3.1 图模式的元素 / 2.3.2 可实施模式的必要性
图模式描述事实结构:节点代表实体,边代表实体之间的关系,属性代表实体的信息。图中的辅助连线不一定是边,例如用户与姓名标签的连接只是属性说明。模式还必须能在实际数据创建时执行约束:合法JSON仍可能缺时间戳或使用错误类型,可实施模式则在创建时检查必需字段与值类型,尽早暴露结构错误。
图模式回答“有哪些实体、关系和属性”,可实施模式回答“具体记录是否遵守约定”。二者配合,才把概念结构与可读写的数据连接起来。
模式校验尽早暴露错误继续解释这一机制。
图适合表达关系继续解释这一机制。
2.4 SuperWebAnalytics.com的完整数据模型
网页分析模型包含人和页面;人又可通过已知用户ID或cookie识别。页面浏览是人到页面的边,等价边则表达两个标识实际属于同一个人。人口属性、页面属性附在各自实体上。新增事实类型时,可以增添节点、边或属性类型,保留既有原子事实。它为后文的用户标识规范化提供输入,尚未在写入时把所有身份问题提前消解。
新事实类型不改旧事实继续解释这一机制。
原书依据 · 1 处
2.5 总结
本章把主数据集设计从“当前结果是什么”转到“应保留哪些可以重新解释的事实”。原始性保留问题空间,时间与不可变性保留历史,原子性及可识别性支持演化与去重,图模式和可实施模式则把结构约束落实到记录。下一章用序列化框架把这种表示变成可存储对象。
第3章 大数据的数据模型:示例
本章把事实模型落实到序列化对象。上章的图模式说明需要哪些信息,这章则检查工具能否真正保证这些记录结构。Thrift在本书中主要承担序列化角色;本节不把其跨语言服务的所有能力一并纳入,也不把示例的生产经历当作当前版本的完整担保。
3.1 为什么使用序列化框架
无模式格式容易写入不一致记录,问题常到下游处理时才显现。可实施模式把字段检查移到创建和写入时,错误可以携带更接近发生现场的上下文,并在写坏主数据集之前被阻断。这里延续的是上章的严格模式原则,序列化框架只是实现这一原则的工具。
3.2 Apache Thrift / 3.2.1 节点 / 3.2.2 边 / 3.2.3 属性 / 3.2.4 把一切组合成数据对象 / 3.2.5 模式演变
Thrift接口定义语言描述类型并生成多种语言的读写代码。节点使用联合体表示互斥身份,例如cookie或用户ID;边使用结构体保存关系两端;属性则把实体标识与可有多种类型的属性值绑定。required表示必需字段,optional用于允许缺失的字段,例如只知道城市而不知道国家的位置记录。
所有边和属性再装入DataUnit联合体,用Data把事实单元与Pedigree元数据组合。它给数据集提供统一入口,同时保留每种事实的类型及对应时间。字段的数值ID决定序列化身份,因此重命名不等于更换身份,删除后复用ID却可能让旧字节产生错误含义。模式新增结构体字段时还要考虑旧记录没有该字段的事实。
联合体表示可选身份提供对应的规则与结构。
边结构体约束端点提供对应的规则与结构。
属性结构体绑定值提供对应的规则与结构。
统一事实入口附带来源提供对应的规则与结构。
字段号保留历史语义提供对应的规则与结构。
3.3 序列化框架的局限性
框架只能保证其模式语言能表达的约束。年龄类型正确但为负,仍然不满足业务要求。补充校验有两个位置:在生成代码外封装写入校验,能保留错误现场并提前阻止坏数据,但多语言实现需要同步;在批处理入口统一筛分,能减轻后续计算的防御负担,但坏事实已经写入。
本译文在通知条件处出现“如果没有任何无效的数据将会发送一个通知”,与本段讨论无效输入的目的疑似不一致。此处不据该句推定告警触发条件;计划实施时须另核对原版或实际需求。两种校验放置方式本身的利弊则由前后文明确支持。
结构校验不等业务校验提供对应的规则与结构。
校验位置影响故障证据提供对应的规则与结构。
3.4 总结
本章展示理论与工具之间的差距:严格模式很有价值,但结构与类型约束没有覆盖全部数据有效性。应清楚工具已经保证什么、剩余规则放在哪里,而不是因为工具不完美就放弃所有约束。下一章转到主数据集的物理存储,继续按实际操作需求选择组件。
第4章 批处理层的数据存储
前两章确定事实怎样表示,本章改问怎样把事实集合放到多台机器。存储选择必须服从实际访问方式:主要是追加新输入和并行扫描,用于构建批处理视图;并不天然需要像在线查询库一样随机更新某条记录。
4.1 主数据集的存储需求
主数据集持续增长,每条事实通常写入后不修改,批处理则反复读取大量记录。因此存储需要高效追加、容量扩展与并行处理,还应允许在压缩空间和计算开销之间调节。不可变性要由权限等约束维护,不能只依赖程序员遵守口头约定。
主数据集需求进一步解释其机制和使用边界。
原书依据 · 1 处
4.2 为批处理层选择存储方案 / 4.2.1 使用键/值存储主数据集 / 4.2.2 分布式文件系统
键值存储围绕按键随机访问组织索引,若主数据集没有这种需求,为每条事实制造键并维护额外机制可能增加复杂性。分布式文件系统把事实保存为可顺序扫描的字节文件,允许控制格式和压缩,并以权限保护旧数据。书中针对其主数据集负载作比较,不宜把所有现代键值系统概括成必然不能压缩或必然不合适。
文件系统胜任批量进一步解释其机制和使用边界。
原书依据 · 1 处
4.3 分布式文件系统是如何工作的
HDFS把一个文件切成块,并把每块副本放到多个DataNode。NameNode保存文件与块的位置映射;读取者先找位置,再访问实际数据节点。这将定位元数据与数据传输分开,也让不同块能够并行读取。复制是有条件的容错,如果某块所有副本都失效,系统仍无法提供那一块。
块位置与文件内容分离进一步解释其机制和使用边界。
原书依据 · 1 处
4.4 使用分布式文件系统存储主数据集
即使文件不支持原地修改,目录中的文件集合也可以不断增长。把序列化事实分批写进新文件,再把新文件加入主目录,就能追加新数据而不覆盖旧文件。分布式文件系统提供存储和权限基础,记录类型、格式及目录组织仍需要更高层维护。
新文件追加不可变数据进一步解释其机制和使用边界。
原书依据 · 1 处
4.5 垂直分区
批处理虽然可以扫描全部事实,但许多作业只需要一个时间范围或某种事实类型。把这些子集放进不同目录,计算就能直接选择相关文件,省掉不必要的读取。本书称此为垂直分区,既包括按日期,也包括按边和属性类型;这是本文术语范围,不能直接套用关系表按列拆分的定义。
垂直分区降成本进一步解释其机制和使用边界。
原书依据 · 1 处
4.6 分布式文件系统的底层性质
直接把新目录中的文件移动到主目录,会遇到重名冲突、编码格式不一致和分区结构被破坏三类问题。它们都说明“移动文件成功”不等于“事实集合仍正确”。所需抽象应保留数据集约束,并在安全转换与拒绝不兼容操作之间作明确选择。
追加要保持数据集约束进一步解释其机制和使用边界。
原书依据 · 1 处
4.7 在分布式文件系统上存储SuperWebAnalytics.com的主数据集
网页分析的图模式已经为分区提供依据:不同的边与属性类型可以保存在不同目录。只需人口属性的计算便无需扫描全部浏览边。下一章把这类结构与Thrift类型元数据连接起来,避免手写目录规则随着模式变化而漂移。
4.8 总结
本章由“一次写入、多次批量读取”推导物理存储需求,并说明分布式文件、目录分类和权限为何适合这一角色。随后出现的新问题是维护粒度:文件系统API过于底层,追加和分区需要的数据约束应由数据集抽象统一承担。
第5章 批处理层的数据存储:示例
本示例章用HDFS和Pail连接存储原理与实际代码。HDFS提供文件与块的基础能力,Pail在其上维护记录集合的格式和目录约束。工具名称是示例中的具体选择,本章重点是怎样让安全操作得到直接表达。
5.1 使用HDFS / 5.1.1 小文件问题 / 5.1.2 转向更高层次的抽象
HDFS命令可以创建目录、上传日志、查看内容以及检查块的位置;这些操作分别验证逻辑记录与物理分布。小文件过多时,任务调度与文件管理的固定成本会反复支付,所以维护还要包含合并。Pail把追加和合并封装为absorb与consolidate等操作,让代码主要说明对数据做什么。
小文件重复调度开销进一步解释其机制和使用边界。
HDFS文件操作按用途组合进一步解释其机制和使用边界。
5.2 使用Pail在批处理层存储数据 / 5.2.1 Pail基本操作 / 5.2.2 序列化对象到Pail中 / 5.2.3 使用Pail进行批处理操作 / 5.2.4 使用Pail进行垂直分区 / 5.2.5 Pail文件格式与压缩 / 5.2.6 Pail优点的总结
Pail保存描述类型、文件格式和目录结构的元信息。默认字节记录可以由输出流写入,关闭文件后才对读取者可见。要保存对象,需要PailStructure提供编解码和类型策略;分区时再实现从记录到目录的路由,以及目录合法性检查。
追加会检查记录类型和结构,必要时转换目标格式;合并小文件则减少重复调度开销。压缩格式以配置保存,减少空间但增加CPU工作。书中代码用于解释职责与调用方式,本轮没有声称在当前Hadoop环境执行。
Pail维护数据集元信息进一步解释其机制和使用边界。
关闭写流决定记录可见进一步解释其机制和使用边界。
对象编码由策略提供进一步解释其机制和使用边界。
目录路由与校验相配进一步解释其机制和使用边界。
压缩交换空间与CPU进一步解释其机制和使用边界。
5.3 存储SuperWebAnalytics.com的主数据集 / 5.3.1 Thrift对象的结构化Pail / 5.3.2 SuperWebAnalytics.com的基础Pail / 5.3.3 用于垂直分区数据集的分片Pail
网页分析模型把DataUnit联合体分支映射到顶层目录,属性再按属性值类型细分。实现分三层:通用ThriftPailStructure处理编码,DataPailStructure声明具体Data对象,SplitDataPailStructure负责分区。
分区策略通过FieldStructure统一接口分派给边或属性。类型字段ID提供可检索的结构信息,路由和校验使用同一份映射,而不是复制一份可能过时的目录清单。代码中的类型约定与反射仍有其适用前提,不能把通用写法理解为任意模式无需核验。
通用编码与类型构造分离进一步解释其机制和使用边界。
字段元数据驱动分区进一步解释其机制和使用边界。
5.4 总结
本章将抽象的存储完整性要求落实到可调用接口。其价值不只是代码行数少,而是类型、格式、目录路由与校验有统一责任;调用方才能专注追加、合并和读取事实。下一章以已经保存的事实为输入,推导怎样生成批处理视图。
第6章 批处理层
批处理层不直接为每次查询扫描全部事实,而是预先计算能支持查询的中间视图。核心设计问题是哪些工作提前做、哪些留到读取时做。这一分工为后续的重算策略、MapReduce执行与管道图抽象建立目标。
6.1 启发性示例 / 6.1.1 给定时间范围内的页面浏览量 / 6.1.2 性别推理 / 6.1.3 影响力分数
三个例子展示“查询是数据函数”的具体含义。页面浏览量需要按URL和时间筛选计数;姓名推断还依赖规范化与概率模型,因此算法改进也会改变历史答案;影响力分数先找每个回应者的首要影响者,再对影响者计数,需要两级分组。模型示例用于说明计算依赖,不能据此把由姓名推断的人口属性当作可靠个体事实。
模型改变也会改变结果进一步解释其机制和使用边界。
影响力评分需要两级分组进一步解释其机制和使用边界。
6.2 批处理层上的计算
预先计算所有可能时间范围会产生大量区间组合,远多于原始小时数。改为保存每URL每小时的计数,查询时取出相关小时求和,就把视图大小降为与小时数成比例。视图并非越接近最终答案越好,而要同时控制生成、存储和查询的成本。
预计算的取舍进一步解释其机制和使用边界。
原书依据 · 1 处
6.3 重新计算算法与增量算法 / 6.3.1 性能 / 6.3.2 容忍人为错误 / 6.3.3 算法的通用性 / 6.3.4 选择算法的风格
重新计算丢弃旧视图,再从权威输入产生新结果;增量算法则以旧状态和新输入更新。后者通常少做重复工作,但可能需要更多历史辅助状态:均值需要计数,准确去重需要集合。
错误恢复也不同。修正重算代码后重新运行即可替换错误视图;增量状态受到污染时,修复代码不自动修复过去的结果。书中因此把可重算版本作为恢复基础,再按资源收益增加增量优化;不把“更快更新”作为唯一判断标准。
重算换简单进一步解释其机制和使用边界。
增量隐藏状态进一步解释其机制和使用边界。
增量更新需要充分状态进一步解释其机制和使用边界。
6.4 批处理层中的可扩展性
扩展性是增加资源后承接增长负载的能力,线性扩展进一步要求资源随负载大致同比例增长。它和单次延迟不同:不可拆分的请求未必因机器增加而变快。书中把MapReduce作为可扩展计算的范式,同时指出协调与通信成本会使并行收益递减;实际负载仍须验证。
扩吞吐不等于降延迟进一步解释其机制和使用边界。
原书依据 · 1 处
6.5 MapReduce:一种大数据计算的范式 / 6.5.1 可扩展性 / 6.5.2 容错性 / 6.5.3 MapReduce的通用性
MapReduce让用户提供映射与归约方法,框架把输入分给多个任务,再按中间键汇集结果。Word-count先为每个词输出1,按词分组后求和;URL小时计数只是换了一种键。输入本地性减少初次数据搬运,shuffle完成跨任务的按键汇合。
任务失败会重试,因此相同输入应对应相同输出。多级分组则需要多个作业,例如影响力评分先按回应者、再按影响者归约。本节也介绍Spark用缓存加速重复访问同一数据集;这是出版时期的模型比较,不是对当前产品性能的统一结论。
MapReduce抽象进一步解释其机制和使用边界。
任务重试依赖确定计算进一步解释其机制和使用边界。
本地映射仍需按键洗牌进一步解释其机制和使用边界。
6.6 MapReduce的底层特性 / 6.6.1 多步计算很怪异 / 6.6.2 手动实现连接非常复杂 / 6.6.3 逻辑和物理执行紧密耦合
原生MapReduce的低层性表现为三处:多作业需管理中间路径与清理,连接需追踪输入侧并手工组合字段,逻辑拆分又容易变成更多物理作业。它们并非业务问题本身的要求。更高层抽象应保留逻辑模块,统一生成和优化物理执行,而不让开发者在可维护与高效率之间被迫二选一。
逻辑模块不等于物理作业进一步解释其机制和使用边界。
原书依据 · 1 处
6.7 管道图——一种关于批处理计算的高级思维方式 / 6.7.1 管道图的概念 / 6.7.2 通过MapReduce执行管道图 / 6.7.3 合并聚合器 / 6.7.4 管道图示例
管道图以元组、函数、过滤、分组、聚合、连接和集合合并描述数据转换。字段命名使依赖可见,函数创建新字段而不改旧值;不再需要的字段可提前裁剪。连接把同键的不同信息组合,集合合并则把形状兼容的记录拼在一起。
图中的逻辑节点不必一一对应MapReduce作业。编译器可把局部操作封装进同一阶段,并在需要重分组的地方安排洗牌。可合并聚合器还可先求局部结果,减轻全局或少量组集中到单节点的瓶颈。这些优化依赖操作语义,不能机械应用到任意聚合。
管道图思维进一步解释其机制和使用边界。
部分聚合缩小全局瓶颈进一步解释其机制和使用边界。
管道元组字段保持不可变进一步解释其机制和使用边界。
连接与集合合并不同进一步解释其机制和使用边界。
6.8 总结
本章从预计算的取舍到执行方式建立了一条链:视图决定查询时还需做什么,重算提供纠错基础,MapReduce提供分布式执行,管道图则让逻辑组合不必暴露全部调度细节。下一章使用JCascalog把这种逻辑图落实为可组合的Java接口。
第7章 批处理层:示例
本章用JCascalog说明,数据处理代码也应具备普通程序所需的抽象与组合。工具造成的额外困难不等于业务固有复杂性;上一章的管道图如果有合适接口,可以在保留逻辑清晰的同时编译为可扩展的物理作业。
7.1 一个例证
Word-count例子由输入tap、子查询、拆词函数、计数谓词和输出tap组成。子查询声明word及count,生成器提供句子,Split把一条句子展开成多条词记录,Count依据保留的word维度完成分组计数。示例输出用于解释程序语义,本轮未将其冒充实际运行结果。
输入输出与查询逻辑分离进一步解释其机制和使用边界。
原书依据 · 1 处
7.2 数据处理工具的常见陷阱 / 7.2.1 自定义语言 / 7.2.2 不良的可组合抽象
偶发复杂性来自解决方案的表达方式。查询语言与通用语言之间的接口需要传递参数、注册业务函数并协调异常;若流程由脚本串联,还要显式传播失败。抽象不能组合则会迫使开发者重复实现能力,例如平均值重复实现计数和求和。书中比较的是当年的工具设计,结论应落实为接口与组合的判断标准。
语言边界增加协调责任进一步解释其机制和使用边界。
组合抽象避免重复优化进一步解释其机制和使用边界。
7.3 JCascalog介绍 / 7.3.1 JCascalog的数据模型 / 7.3.2 JCascalog查询的结构 / 7.3.3 查询多个数据集 / 7.3.4 分组和聚合器 / 7.3.5 对一个查询示例进行单步调试 / 7.3.6 自定义谓词操作
JCascalog以共享模式的命名元组表示数据,再用统一的谓词约束所需输出。生成器提供有限记录,函数转换字段,过滤器决定是否保留记录,聚合器处理组。问号与感叹号前缀规定空值及外连接语义,同名变量则要求值相等,由此形成隐式连接。combine拼接兼容记录,union还会去重。
聚合粒度由保留的输出维度决定。执行时先应用输入变量已经具备的函数、连接和过滤,再按可用输出维度分组聚合,最后执行依赖聚合结果的操作并裁剪无用字段。输入依赖决定合法顺序,谓词排列本身不应被误读为每一步唯一的物理计划。
自定义函数可能为一条输入产生零、一或多条输出;聚合接口则有逐条维护状态、遍历整组和可合并局部结果的不同选择。并行聚合减少传输依赖于操作可以分解;与普通聚合器组合时,结果可保持正确但预聚合优化可能失效。
统一谓词表达查询约束进一步解释其机制和使用边界。
字段名承载空值约束进一步解释其机制和使用边界。
共享变量隐式决定连接进一步解释其机制和使用边界。
拼接与去重合并不同进一步解释其机制和使用边界。
输出维度决定分组粒度进一步解释其机制和使用边界。
单记录转换有不同基数进一步解释其机制和使用边界。
聚合接口决定组合与效率进一步解释其机制和使用边界。
7.4 组合 / 7.4.1 合并子查询 / 7.4.2 动态创建子查询 / 7.4.3 谓词宏 / 7.4.4 动态创建谓词宏
子查询既可作为数据源,也可由普通函数按参数构造,且直到execute才求值。重复解析、重复连接等结构因此可以像普通代码一样复用。固定N抽样的例子先为记录赋随机值,再分布式求最小N个候选;它说明可组合的结构,不构成随机性质的实测证明。
谓词宏进一步复用查询内部的片段。平均宏组合计数、求和与除法;唯一计数宏把排序与逐项比较封装在一起。Each逐字段生成操作,Partial预绑定部分参数。子查询和宏都把重复的结构与约束保存在一个地方,展开后仍交给同一套数据执行机制。
子查询先构造后执行进一步解释其机制和使用边界。
动态查询生成重复结构进一步解释其机制和使用边界。
随机排序支持并行抽样进一步解释其机制和使用边界。
先排序可流式唯一计数进一步解释其机制和使用边界。
谓词宏组合计算片段进一步解释其机制和使用边界。
参数化宏复用字段操作进一步解释其机制和使用边界。
7.5 总结
本章把可组合抽象落实到查询与谓词两层:查询可以嵌套并按参数生成,谓词也可以通过宏复用。接口的统一、字段约束和聚合语义使优化有依据;仅让代码行数变少并不足以证明正确。下一章把这些能力组合到完整的网页分析批处理工作流。
第8章 批处理层示例:架构和算法
本章把数据模型、物理存储与管道计算连接成网页分析批处理层。三个目标视图分别处理浏览事件数、不同访客和跳出率,虽然共享输入准备流程,聚合语义却不同;算法设计先明确这些差异,下一章才映射成代码。
8.1 SuperWebAnalytics.com批处理层的设计 / 8.1.1 所支持的查询 / 8.1.2 批处理视图
浏览量、独立访客和跳出率需要不同中间状态。浏览量可以按时间桶保存计数,并用少量粗粒度桶加快长区间读取。独立访客必须合并集合,直接相加会重复计算跨桶出现的人;完整集合较大时,可用可合并的HyperLogLog摘要换取空间,但结果是近似估计。
跳出率保存的是访问总数和跳出访问数,比例可到查询时再求。会话先由相同用户、相同域名及相邻访问间隔定义;这些口径共同决定后续计算,不能只因三个指标都叫“计数”就复用同一聚合。
多粒度桶减少范围读取进一步解释其机制和使用边界。
独立计数不能直接相加进一步解释其机制和使用边界。
基数摘要保留可合并状态进一步解释其机制和使用边界。
8.2 工作流概述
工作流先把选定的新数据加入主数据集,再规范化URL、统一用户标识并去除重复浏览,最后从准备好的数据生成三种视图。规范化关系会影响历史事件的解释,所以此处定义的是从完整事实重算的基础版本。各视图可共享准备结果,也共享同一批输入边界。
8.3 获取新数据
持续到来的数据先落在new-data区域,批处理开始时再将选定部分纳入主数据集,使本轮不同视图看到同一份输入。若各计算直接扫描持续变化的目录,启动时间差就可能造成数据范围差异。目录划分给出了控制点,真正安全的并发清理还要由下一章的快照流程实现。
同批视图共享输入边界进一步解释其机制和使用边界。
原书依据 · 1 处
8.4 URL规范化
URL规范化把应视为同一资源的不同表示映射到统一形式,使后续分组不会把同一对象拆开。该步骤逐记录运行,管道只需保留规范后的URL和其他相关字段。书中剥离参数、补协议等规则属于示例约定;不能由此推定任何真实站点的查询参数都没有业务含义。
规范化先于聚合进一步解释其机制和使用边界。
原书依据 · 1 处
8.6 页面浏览去重
此前为每个浏览事件保留足够区分信息,让重试形成的副本仍能被识别为同一事实。此处按完整页面浏览记录分组并取一个代表,得到后续指标需要的独立事件。去重键应来自事件语义,而不能随意只按URL、用户或粗时间桶删记录。
去重是语义问题进一步解释其机制和使用边界。
8.7 计算批处理视图 / 8.7.1 给定时间范围内的页面浏览量 / 8.7.2 给定时间范围内的独立访客 / 8.7.3 跳出率分析
准备好的浏览事件先按URL和小时桶聚合,再把小时结果归入天、周及固定28天等更粗桶。浏览量合并用加和,独立访客则构造并合并HyperLogLog摘要;虽然管道形状相似,两种状态的组合规则不同。
跳出率先按域名和用户分组,并按事件时间判断访问段,得到该用户的访问与跳出次数,再按域名分别汇总这两个数。生成的只是未索引记录;如何让结果支持快速随机查询,是之后服务层的职责。
会话口径先于跳出率进一步解释其机制和使用边界。
原书依据 · 1 处
8.8 总结
本章的重算工作流将复杂逻辑组织为可解释阶段:确定输入范围,统一对象身份,剔除重复事件,再使用符合指标语义的聚合。保留完整事实使历史身份关系和算法改进可以重新解释过去;它也是后面讨论增量优化时必须保留的纠错基础。
第9章 批处理层示例:实现
本章把前面的算法映射到Thrift、Pail和JCascalog。抽象使逻辑图与程序步骤相近,真实执行仍会引入数据编码、收集区同步和小文件等约束。实现的任务是把这些条件补齐,而不是因管道形状看起来正确就省去故障分析。
9.1 出发点
实现已有两个基础:Thrift表示节点、边与属性,Pail按类型组织主数据集。接下来的流程使用相同的事实模型完成追加、规范化、去重及视图计算;输入准备被多个视图共享,方便保持一致口径。
9.2 准备工作流
Thrift对象要在MapReduce任务之间传输,除了定义对象结构,还须把其序列化器注册到执行配置。配置同时保留框架默认编码,让Thrift与其他对象各用适当方式。模式描述与任务环境的编码能力必须配合,否则本地可构造对象也不代表分布式作业能够处理。
跨节点对象先注册编码进一步解释其机制和使用边界。
原书依据 · 1 处
9.3 获取新数据
安全追加先快照收集区,再把快照内记录转入主集,最后只删除已经处理的快照内容。直接清空持续写入的收集区会误删后来到达、未被追加的记录。
收集区混合记录要先按目标结构分解。只映射虽少一个归约阶段,却可能让每个mapper为每类数据建文件,产生过多小文件。示例增加受控归约和合并步骤,用额外重排换取可管理的文件规模,之后才追加到主数据集。
快照限定追加清理范围进一步解释其机制和使用边界。
分解使记录符合目标结构进一步解释其机制和使用边界。
少量归约可限制输出文件进一步解释其机制和使用边界。
9.4 URL规范化
URL规范化示例从输入Data复制出新对象,再按协议、主机和路径构造规范URL。代码只给出演示所需的基础规则,对无效URL的处理也只是样例选择;不能把丢弃查询参数当作任意网站都成立的资源等价关系。转换保存的是派生版本,原始输入仍是重算依据。
派生对象先复制再变换进一步解释其机制和使用边界。
原书依据 · 1 处
9.6 页面浏览去重
去重代码使用Option.DISTINCT,将规范化后的完整浏览对象作为记录身份。这样去掉的是同一事件副本,而不是把同一用户的不同真实访问误判重复。该步骤的正确性依赖此前保留的事件区分信息。
去重是语义问题进一步解释其机制和使用边界。
9.7 计算批处理视图 / 9.7.1 给定时间范围内的页面浏览量 / 9.7.2 给定时间范围内的独立访客 / 9.7.3 跳出率分析
浏览量先以秒时间戳计算小时桶,再生成天、周和固定28天等桶并分组求和。独立访客采用相同的时间组织,但组内构造HyperLogLog,跨桶合并其摘要状态;实现还讨论按低流量对象减少摘要空间。
跳出率先提取域名,按域名与用户分组并按时间排序。扫描以相邻间隔判会话,超过30分钟开启新会话,最后还单独结算末段,再按域名合计访问数与跳出数。代码的严格大于判断使恰好30分钟归于同一会话;这是样例的具体边界,实施时须与产品口径一致。
摘要空间可按基数分配进一步解释其机制和使用边界。
流式会话需结算末段进一步解释其机制和使用边界。
多粒度桶减少范围读取进一步解释其机制和使用边界。
基数摘要保留可合并状态进一步解释其机制和使用边界。
9.8 总结
至此,批处理实现提供了从可恢复输入到三类派生结果的完整路径。并发收集边界、编码和文件规模并非业务指标,却影响算法能否安全运行。下一部分把生成结果装入可查询索引,继续保持计算和在线服务的职责分离。
第二部分 服务层
服务层承接离线计算已经生成的结果,以适当的索引提供低延迟访问。它并不负责最新输入的实时补算;速度层随后补齐这个时间差。第二部分围绕查询成本、存储职责与索引工具展开。
第10章 服务层概述
批处理产出结果并不意味着结果适合在线随机读取。服务层把视图分布、索引和加载后暴露给查询,视图更新以批次为单位。本章先分析查询为什么慢,再从需要的访问方式反推数据库能力。
10.1 服务层的性能指标
服务层既看单次响应延迟,也看单位时间吞吐。把URL与小时的整个组合键散列分区,会使一个范围请求向多节点扇出,受最慢节点牵制;逐键寻道还会耗尽磁盘操作预算。按URL共置并排序时间桶,能用定位后的连续扫描取得范围数据。布局的收益来自减少跨节点等待和随机访问,须结合实际硬件与热点评估。
查询扇出放大尾延迟进一步解释其机制和使用边界。
共置排序数据以扫描代替寻道进一步解释其机制和使用边界。
10.2 规范化/非规范化问题的服务层解决方案
规范化减少重复,却可能让在线读取依赖连接;反范式化提前复制所需字段,读快了,写时维护多个副本也更复杂。本书将完整事实与服务视图分开:事实负责可信重算,服务视图按查询做连接、聚合和转换。视图出现错误可从事实重新生成,这提供修复路径,并不保证生成和发布过程中从不出现不一致。
反范式化有边界进一步解释其机制和使用边界。
原书依据 · 1 处
10.4 设计SuperWebAnalytics.com的服务层 / 10.4.1 给定时间范围内的页面浏览量 / 10.4.2 随着时间推移的独立访客 / 10.4.3 跳出率分析
浏览量与独立访客都按时间范围查询,但计数仅数个字节,摘要可能大得多且合并更贵。若同一URL的小时计数顺序存放,扫描多年数据也可能划算;摘要则更值得预存较粗粒度。索引键可包含URL与粒度,但分区只取URL,以免同一范围查询跨节点。跳出率只需域名到访问数和跳出数的简单键值映射。
粒度选择取决于值的成本进一步解释其机制和使用边界。
逻辑键不必等于分区键进一步解释其机制和使用边界。
10.5 对比全增量的解决方案 / 10.5.1 随着时间推移的独立访客的全增量方案 / 10.5.2 与Lambda架构解决方案的比较
全增量方案可用集合、近似摘要和多粒度桶逐步改善范围查询,但引入身份等效边后,新信息可能要求回改任意历史桶。反向索引扩大状态维护责任,高活跃用户仍可能触及大量历史。有损摘要又不能枚举成员,无法事后按新身份逐一纠正。
把身份解析放到读取端则需要读取标识集合并逐一映射。稳定散列抽样能减少这项工作,逐事件随机采样却会偏向频繁访问者。书中对比的关键是先完成身份归一再生成有损摘要;它并不能推出一切增量系统必然较差。人数估计还应独立确认抽样单位及一人多标识造成的影响。
增量修正需要反向定位进一步解释其机制和使用边界。
有损摘要前先解决身份进一步解释其机制和使用边界。
实体抽样须稳定决定入选进一步解释其机制和使用边界。
10.6 总结
本章从查询性能推导索引布局,再以历史身份修正揭示信息处理顺序的重要性。服务层是可重建、面向查询的派生结果;下一章用具体键值工具说明理想接口与实际能力的差距。
第11章 服务层:示例
ElephantDB示例用于把离线键值结果制作成分片索引,再由独立集群服务。工具选择是本书出版时的实现背景;这里保留其设计机制,不把当时项目状态当作当前选型结论。
11.1 ElephantDB的基本概念 / 11.1.1 ElephantDB中的视图创建 / 11.1.2 ElephantDB中的视图服务 / 11.1.3 使用ElephantDB
ElephantDB把键和值编码为字节数组,按可插拔分片函数分配到固定数量分片。MapReduce中每个reducer生成一个本地索引并上传到分布式文件系统;在线节点再受控拉取自己的分片,以免更新挤占查询I/O。
每片配置多个副本,丢失全部相关副本才会使该片不可用。新片下载完后在节点切换,正文没有说明跨节点全局原子发布。本地配置放目录与全局配置入口,全局配置放主机、复制因子、端口和视图路径。客户端以域与键调用get,必要时由接入节点转发;接口只有点查,不能执行通用有序范围扫描。
服务节点主动拉取新分片进一步解释其机制和使用边界。
分片切换只证明局部版本更新进一步解释其机制和使用边界。
11.2 创建SuperWebAnalytics.com的服务层 / 11.2.1 给定时间范围内的页面浏览量 / 11.2.2 给定时间范围内的独立访客数量 / 11.2.3 跳出率分析
理想的URL有序桶索引无法直接在只支持点查的工具上实现。示例序列化URL、粒度和桶作为复合键,计数编码为整数值,再用只对URL散列的分片方案保持共置;预存粗粒度桶减少所需点查数量。
独立访客使用同一键结构和分片方式,值换成序列化摘要。书中还提出服务端合并摘要再返回基数的理想能力,当前实现没有提供。跳出率按域名取一对计数即可,通常散列足够;同一业务的不同指标不必强行套用相同索引。
缺少范围接口可换预计算粒度进一步解释其机制和使用边界。
摘要在服务端合并可省传输进一步解释其机制和使用边界。
11.3 总结
批处理和服务层至此完成从事实到可查询历史结果的路径。ElephantDB证明索引可离线生成并独立发布,同时暴露点查接口对范围指标的限制。下一部分处理批次之间尚未进入历史视图的新数据。
第三部分 速度层
速度层为批处理视图尚未覆盖的数据提供低延迟补充。它采取增量维护,困难集中在状态更新、重试和故障恢复;由于随后会由批处理结果接替,维护的时间范围受到限制。接下来的章节先说明增量模型,再用Storm、Cassandra和Trident展示实现与准确性约束。
第12章 实时视图
实时视图是速度层用于补齐最新结果的状态。它需要既能快速查询,也能在新输入到达后迅速更新。与完整历史的批量重算不同,这里复用旧状态做增量,复杂性较高;其维护范围和生命周期由服务层实际覆盖进度限制。
12.1 计算实时视图
最直接的方法是在每次新事件后重算全部近期数据。这沿用批处理函数,容易理解,但即使近期仅数GB,高频重复扫描仍不适合极低延迟要求。允许分钟级延迟时可以小批次重算;更苛刻的更新目标通常要求用新数据加既有视图计算下一状态,进而需要随机读写存储。
速度层补新鲜度进一步解释其机制和使用边界。
近期重算也有延迟门槛进一步解释其机制和使用边界。
12.2 存储实时视图 / 12.2.1 最终一致性 / 12.2.2 速度层中存储的状态总量
实时存储要求索引化随机读、低延迟随机写、扩展和复制容错,可以按查询使用多个索引类型。本节提及Cassandra与ElasticSearch作为出版时例子,重点是需求驱动组合。实时与批量视图可以使用相同准确算法,也可以先近似再由批处理接替;近似是可选策略。
随机写意味着压缩、并发和共享可变状态等责任仍然存在。只把短期数据放进该层,能控制这些复杂机制的规模,具体窗口长短取决于实际批处理进展。
临时状态限制复杂性规模进一步解释其机制和使用边界。
原书依据 · 1 处
12.3 增量计算的挑战 / 12.3.1 CAP原理的有效性 / 12.3.2 CAP原理和增量算法之间复杂的相互作用
网络分区使一些副本无法通信。若仍接受各边更新,恢复后便可能出现不同值;选择拒绝部分请求才能保留相应一致性承诺。复制提高可访问机会,却不能让隔离副本凭空知道另一边写入。sloppy quorum示例还允许临时副本接受写入,进一步增加恢复合并责任。
只存总数无法判断两副本包含多少共同历史。G-Counter为每个单写者副本保留只增分量,逐分量取最大合并,总值再求和。一般增量状态也必须有与其操作匹配的合并语义。完整事实和正确重算为临时视图提供修复依据,保护不延伸到未保存的输入或已经发生的外部动作。
CAP只在分区时二选一进一步解释其机制和使用边界。
合并计数须保留来源分量进一步解释其机制和使用边界。
增量计算难点进一步解释其机制和使用边界。
12.4 异步更新与同步更新
同步更新让调用方等待数据库处理,可与交互界面的完成状态协调。异步更新先排队,再由处理器批量写入,能缓冲突发流量并摊薄每条写入成本,但额外增加等待,积压时延迟还会扩大。应明确可见性和容量目标,不能把队列视为无限吞吐保证。
同步异步权衡进一步解释其机制和使用边界。
原书依据 · 1 处
12.5 过期实时视图
只有进入服务层的那部分实时状态才可丢弃,单纯按预计作业耗时设置TTL会在批处理异常变慢时提前失效。速度层有时必须覆盖最近两轮批次之间的数据,不能只保留最近一次运行期间到达的事件。
通用方案维护两组交叠的实时视图,在批处理完成后交替清空,并把查询切到包含正确未覆盖窗口的一组。额外状态仅覆盖近期,代价相对完整历史较小;读切换与清空顺序仍须遵守真实批次边界。
实时视图可过期进一步解释其机制和使用边界。
过期依据进度而非钟表进一步解释其机制和使用边界。
交替视图保留未覆盖窗口进一步解释其机制和使用边界。
12.6 总结
实时视图以更复杂的增量状态换取新鲜度,批量与实时职责分离控制其规模和生命周期。同步写路径较直接,异步处理还需要队列、重放和状态更新协议。下一章先给出存储例子,再讨论流处理机制。
第13章 实时视图:示例
本章用Cassandra说明实时状态的索引布局。该样例数据库并非适合全部实时查询;数据模型、读写一致性和性能需求可能要求多种工具。以下保留出版时的数据模型与客户端实例,理解物理布局原则,不将旧API当成当前安装指南。
13.1 Cassandra的数据模型
书中将Cassandra看作顶层映射,其每个键下保存一组有序的列名和值。列族组织独立信息,顶层键决定跨节点分区,同一键的列共置。浏览量将URL和粒度作为键,桶序号作为列名,计数为值,于是范围查询可以在该键内扫描。把桶也放进顶层键则破坏了这种共置。
分区键内保存有序列进一步解释其机制和使用边界。
原书依据 · 1 处
13.2 使用Cassandra / Cassandra的高级特性
Hector示例先建立列族客户端,再按键读取一段时间桶并逐项累加。迭代器分批取列,控制客户端内存;更新例子则读出旧值再加25写回,真实并发更新必须另有任务所有权或协调。
出版时的散列分区和保序分区分别偏向分散键与支持键范围访问,后者带来动态均衡压力。组合列进一步提供嵌套有序映射的灵活性,但不改变必须按查询设计布局的原则。
流式迭代限制读取内存进一步解释其机制和使用边界。
保序分区增加均衡责任进一步解释其机制和使用边界。
13.3 总结
随机读写索引承担在线压缩、并发和分区调整责任,比仅批量装载的服务索引复杂。速度层只维护近期状态,保留事实并能重建时可以在严重错误后重建;这不表示重建期间结果或外部动作天然不受影响。下一章把事件输入接到状态更新。
第14章 队列和流处理
异步速度层把事件产生和实时状态更新分开,因此必须明确输入如何持久化、失败如何发现及恢复。与批处理一样,流计算需要容忍重试;不同的是增量副作用可能在失败前已经写入,不能仅把重投消息视为完成容错。
14.1 队列 / 14.1.1 单消费者队列 / 14.1.2 多消费者队列
即发即弃地把事件交给工作节点,会在节点失败或流量尖峰时丢掉待处理工作。持久队列保存事件并允许确认、失败或超时重试,但处理成功后确认前崩溃仍可能重复。
书中的单消费者队列按确认删除消息,多应用共用时会牺牲隔离或复制队列。可重放日志则把消费进度交给各应用,使它们独立推进和恢复;日志按时间或大小保留,落后超过窗口仍有数据不可回放风险。重放能力是实现顺序恢复的条件,并不自动提供全局顺序。
队列解耦速度进一步解释其机制和使用边界。
消费进度与共享日志分离进一步解释其机制和使用边界。
至少一次需幂等进一步解释其机制和使用边界。
14.2 流处理 / 14.2.1 队列和工作节点 / 14.2.2 队列和工作节点的缺陷
队列加工作节点可以串成处理管道。状态更新前按URL路由,可把同一计数的写入集中到同一消费者,避免并发读改写覆盖;但消费者故障必须有接替机制,否则对应分区会停滞。
每阶段都插入持久队列,还带来额外落盘、传输、部署清理及监控对象。这样的模型易画出来,却可能让大量代码花在路由和故障协调上,因此需要统一表达拓扑和运行责任的抽象。
按状态键路由避免竞态进一步解释其机制和使用边界。
逐阶段持久化增加管道负担进一步解释其机制和使用边界。
14.3 更高层次的一次一个的流处理 / 14.3.1 Storm模型 / 14.3.2 保证消息处理
Storm模型把无界元组流组织成Spout和Bolt拓扑。组件各有多个并行任务,任务分散在工作节点,边上的分组决定元组去向;随机分组用于分散无状态工作,按字段分组让相同键到达同一状态任务。
一个来源元组及其后继形成处理DAG。完成追踪可以从根重试,省去每个阶段间的持久队列,但会重复已经执行的中间工作。集合添加等幂等操作能够吸收重复;计数等非幂等操作需要去重或事务协议,不能把至少一次投递等同于恰好一次效果。
拓扑描述逻辑任务路由进一步解释其机制和使用边界。
从根重放替代中间队列进一步解释其机制和使用边界。
流是连续批处理进一步解释其机制和使用边界。
至少一次需幂等进一步解释其机制和使用边界。
14.4 SuperWebAnalytics.com速度层 / 拓扑结构
独立访客实时计算仍可采用HyperLogLog,但实时追踪身份等效图并回改历史摘要会很复杂。可以先用最近的批量身份映射,也可暂时忽略等价关系;两者对重复计人的影响不同,应通过批量对照量化误差。批处理接替会消除这类临时身份偏差,摘要本身的估计误差仍存在。
示例拓扑先读取浏览流,再规范URL,最后按URL分组更新其小时摘要。URL规则应与批处理共享,否则相同对象在两层落入不同键,影响结果合并。
用数据量化临时近似误差进一步解释其机制和使用边界。
两层共享规范化语义进一步解释其机制和使用边界。
14.5 总结
完整事实、历史视图和实时状态分别按可恢复输入、批量查询以及低延迟更新优化。独立访客例子展示这种分离如何允许速度层使用受评估的临时近似,同时保留历史重算能力。下一章进一步落实输入分区、拓扑和状态写入。
速度层应少做事进一步解释其机制和使用边界。
原书依据 · 1 处
第15章 队列和流处理:示例
本章将上章的一次一个模型落实到Storm、Kafka和Cassandra。示例展示拓扑声明、部署、完成追踪和批量写状态,具体类名和配置均属于出版时的工具版本。可迁移的重点是可靠性协议以及输入、计算、状态之间的责任边界。
15.1 使用Apache Storm定义拓扑结构
TopologyBuilder声明句子来源、分词和计数三个组件,各自设置并行度。无状态分词随机分散,词计数按word字段汇聚;SplitSentence拆句并发出单词,WordCount保存内存映射,演示用Spout按间隔生成随机句子。内存计数只是模型演示,不自动提供进程重启后的持久恢复。
拓扑描述逻辑任务路由进一步解释其机制和使用边界。
15.2 Apache Storm集群及其部署
Nimbus接收拓扑并分配工作进程,Supervisor依据ZooKeeper中的协调状态启动或停止进程;运行中的Worker发现彼此后直接传输数据。示例配置把32个组件线程分配到4个进程,这些线程和进程数是不同的资源维度。
输入流控按Spout任务限制未完成根元组。8个任务各1000个,合计可有8000个在途根输入;下游完成速度下降时,限额阻止来源持续无限发出。
协调状态与事件通道分离进一步解释其机制和使用边界。
限制在途输入形成反馈进一步解释其机制和使用边界。
15.3 保证消息处理
输出必须关联其依赖输入,本节点完成时还要确认输入,二者分别是anchoring与acking。BaseBasicBolt自动完成即时变换的常见模式,缓冲聚合须用显式确认。根输入只有在全部派生处理都完成且未超时才成功。
原图232-i.jpg的聚合伪代码先把当前值加到sum,再检查旧缓冲长度;阈值触发的当前元组未进入同批锚定集合,不能照抄作正确实现。可靠版本必须让参与计算的输入、锚定集合及确认集合对应;此处保留协议说明,未声称运行了样例。
派生依赖与完成分开上报进一步解释其机制和使用边界。
自动确认只适合即时完成进一步解释其机制和使用边界。
15.4 实现SuperWebAnalytics.com给定时间范围内的独立访客的速度层
Kafka Spout记录消费位置并输出浏览事件,URL转换复用批处理规则,最后按URL字段分组写Cassandra的小时摘要。同一元素重复加入HyperLogLog不改变状态,所以重放不会因这项操作本身重复计入;摘要的近似误差与身份关系近似仍须另计。
逐事件读取摘要再写回开销大,可缓冲同批更新,并用数量阈值或定时tick触发写入。只有写成功才确认输入、清空缓冲。原文省略了批量Cassandra代码,不能宣称其全部事务和并发条件已由演示实现。
写入完成后才确认输入进一步解释其机制和使用边界。
至少一次需幂等进一步解释其机制和使用边界。
摘要空间可按基数分配进一步解释其机制和使用边界。
15.5 总结
输入持久化、拓扑追踪和可重试的状态更新共同构成一次一个流处理的可靠路径。较低延迟伴随逐元组追踪成本;下章将通过微批量协调和批次状态,把非幂等更新也组织成重试安全的效果。
第16章 微批量流处理
微批量以一组输入为重放单位,利用稳定批次和状态协议实现失败下不重复累加,适合暂时重复计数也不可接受的场景。代价包括凑批和协调等待。这里讨论的是指定状态更新的处理效果,不能扩展成任意外部副作用的全局事务承诺。
微批量折中进一步解释其机制和使用边界。
原书依据 · 1 处
16.1 实现有且仅有一次语义 / 16.1.1 强有序处理 / 16.1.2 微批量流处理 / 16.1.3 微批量流处理的拓扑结构
直接在每次投递时加一,确认前崩溃会导致重计。先用严格有序的单条输入说明原理:把值与最近输入ID一起保存,同ID重试就不再执行增量。推广到批次后,批内可并行,但下一批不能越过未完成批次,各状态键保存最近批次ID。
一部分词计数成功后失败,重试只补齐未成功的键;各键更新不等于跨键同时可见。全局前三词先由各分区选局部前三再合并,降低汇总节点压力。排名合并在该只增计数例子中能幂等吸收重放。
批次标识防重复进一步解释其机制和使用边界。
局部前K减少全局汇总量进一步解释其机制和使用边界。
16.2 微批量流处理的核心概念
本批变换只依赖当前输入,可直接重算;跨批状态才需要专门提交和幂等逻辑。事务性Spout用分区偏移记住批次,每次重放内容相同;所需分区不可用时就会等待。不透明Spout允许失败批次回放内容变化,但保证每个元组只在一个成功批次计入,因此状态不能仅靠最近ID判断。
批次追踪摊薄每条事件的开销,有助于吞吐,却增加等待和协调延迟。出版时的数百毫秒至秒只是示例量级,具体目标须按实现与负载验证。
两类Spout定重放边界进一步解释其机制和使用边界。
本批计算与跨批状态分开进一步解释其机制和使用边界。
延迟吞吐互换进一步解释其机制和使用边界。
16.3 微批量流处理的扩展管道图
把常规批量管道对每个小批独立执行,还不足以持续累加状态。扩展后的管道引入StateUpdater和MapState等保存索引的节点,将重放检查及提交放进适配层。业务可描述计数聚合,但保证仍依赖底层适配器正确实现;微批量与一次一个处理各有适用条件。
状态更新抽象承接重试协议进一步解释其机制和使用边界。
16.4 完成SuperWebAnalytics.com的速度层 / 16.4.1 给定时间范围内的页面浏览量 / 16.4.2 跳出率分析
近期浏览量只需小时桶即可,是否增加天桶取决于速度层真正覆盖的时间跨度。跳出率则不是简单求和:它要保存未完成会话,等最后活动后足够静默才产出一条访问结果,再按域汇总分子与分母。
会话可因持续活动延伸很久,不能用固定30分钟窗口代替。迟到事件还可能改变已经判定完成的访问,因此需要额外等待,并明确等待上限。原图248-i.jpg的条件用首次时间而非末次时间检查过期,且以首末时间相等代替事件数;此处按正文的最后活动和单次浏览定义解释,不把该伪代码当可直接使用的正确实现。
无事发生也需要状态判断进一步解释其机制和使用边界。
会话长度不等于间隔阈值进一步解释其机制和使用边界。
等待迟到数据需要明确上限进一步解释其机制和使用边界。
16.5 另一个跳出率分析示例
跳出按定义就必须等待一段静默,因此可用磁盘上的增量批处理维护会话状态和完成计数,无需把所有状态放在流处理进程内存。新数据加上旧版本状态生成新版本,再发布查询视图;这是增量算法配合批量执行,区别于每次从完整历史重算。
业务等待允许磁盘批处理进一步解释其机制和使用边界。
原书依据 · 1 处
16.6 总结
速度层的职责是近期数据,并不强制使用流引擎或达到毫秒延迟。选择一次一个、微批量还是增量批处理,应先看业务何时能知道结果,再比较状态规模、恢复保证与吞吐。下一章以Trident具体落实状态适配协议。
第17章 微批量流处理:示例
Trident把微批量管道编译成Storm组件,提供跨批次状态抽象。稳定输入和批次ID逻辑使业务描述接近普通批处理,但存储适配器仍承担状态编码和重试协议。示例的目标是解释这些职责如何配合。
17.1 使用Trident
TridentTopology把输入源接到逐元组转换、分组和持久聚合。纯函数输出附加到原元组上;partitionPersist接受状态更新器,persistentAggregate把无状态聚合器转换为跨批累积。
CassandraState决定分组字段如何映射物理索引:一个字段作为键,两个字段作为键与列。书中实现逐次数据库操作,仅作易读参考,不能据示例简洁程度推断高吞吐。批次检查由框架与状态适配器共同完成,持久性仍取决于所选状态存储。
状态更新抽象承接重试协议进一步解释其机制和使用边界。
分组字段解释依赖适配器进一步解释其机制和使用边界。
17.2 完成SuperWebAnalytics.com的速度层 / 17.2.1 给定时间范围内的页面浏览量 / 17.2.2 跳出率分析
浏览量拓扑使用可重放Kafka输入,共享URL转换,计算小时桶,再按URL与桶分组,交给CassandraState编码成外层URL键与内层时间列。计数由persistentAggregate积累,并按批次协议吸收重复。
跳出率在任务内追踪多组会话并周期扫描,所以使用partitionBy(domain,user)路由,再将完成访问汇总为访问数与跳出数。CombinedCombinerAggregator同时维护Count和Sum,保留分子分母。MemoryMapState能处理批次重试,却不能在任务死亡后保留内存内容。原图262-i.jpg的过期比较方向与正文“当前时间超过末次访问30分钟”不符,示例应按定义修正后才可采用;未把代码称作已验证实现。
路由分区不等于独立分组进一步解释其机制和使用边界。
重试安全不等于状态持久进一步解释其机制和使用边界。
17.4 总结
本章把微批量管道映射到状态接口,也揭示了幂等和持久恢复的区别。至此,事实输入、历史索引及实时状态的基础路径齐备;最后一章将按函数、资源和覆盖边界再组合这些层次。
第18章 深入Lambda架构
最后一章回到基本模型,再讨论增量批处理、多层覆盖、容量反馈和查询合并。目的不是增加更多工具,而是让性能优化仍保留可恢复输入与清楚的职责。
18.2 批处理层和服务层 / 18.2.1 增量的批处理 / 18.2.2 测量和优化批处理层的资源使用
全局计数等简单可合并结果适合增量;生日推理遇到矛盾年龄样本则需要回看完整实体历史。部分重算只重做变化实体,仍可全量顺序扫描筛选相关事实,以避免对整个主集重新分区。布隆预筛允许少量误报,再以准确实体列表连接排除。
增量也能在离线副本更新旧索引、生成新版本后发布,保持构建与查询隔离;大型视图的复制成本则推动多个时间尺度的批处理层分工。低频全量负责纠错,中频增量缩短滞后,实时层补最后缺口,各层覆盖必须衔接。
容量模型令每轮时间T=O+P×H,O为固定开销,H为本轮输入跨度,P为每小时输入的处理时间。稳定时H=T,故T=O/(1-P),要求P。靠近饱和时重试和处理成本的微小增加,会通过下一批数据变多而放大运行周期。扩容使P减半时,比值应为(1-P)/(1-P/2);原图277-2漏掉因子,与相邻公式和18%示例不一致。
真实负载下可用已知固定扰动d估计O、P:P=1-d/(T2-T1),O=T1×d/(T2-T1)。原图279-i.jpg存在排版异常,此处从上式推导;这属于受控测量计划,未实际运行,不能无条件外推生产性能。
部分重算进一步解释其机制和使用边界。
布隆筛选后再精确连接进一步解释其机制和使用边界。
增量构建仍可发布新版本进一步解释其机制和使用边界。
多批处理层进一步解释其机制和使用边界。
批处理追赶线进一步解释其机制和使用边界。
接近饱和会放大扰动进一步解释其机制和使用边界。
扩容收益取决于固定开销进一步解释其机制和使用边界。
稳态扰动可估处理系数进一步解释其机制和使用边界。
18.3 速度层
速度层补服务层尚未包含的近期输入,倾向用增量和可变索引换取低延迟。它可以暂时近似,也可以精确,只是较复杂的状态被限制到较短时间范围。修复依赖完整事实和正确批处理,实时结果造成的外部副作用仍需自己的处理。
18.4 查询层
查询层必须知道各视图的覆盖范围,才可选取数据并合并。页面浏览量天然按时间切分,可取历史已覆盖部分和近期未覆盖部分再求和,避免重叠或缺口。生日推理则用区间与样本数:区间相容时收窄,不相容时按样本数选择。
这个策略是书中示例,并不证明样本多的一方必然更真实;它说明为了查询合并,视图要额外保存判断所需信息。合并语义应参与上游视图设计,而非到查询层才临时拼结果。
合并查询逻辑进一步解释其机制和使用边界。
原书依据 · 1 处
18.5 总结
全书以可重算事实为基础,把离线计算、只读服务、近期增量与查询合并分开,逐步补齐低延迟和恢复能力。Hadoop、JCascalog、Pail、ElephantDB、Storm与Cassandra都是出版时的实现例子,持久的部分是职责、信息保留和故障边界。作者关于工具生态和架构优势的判断保留为当时观点,不作当前产品比较或所有系统的唯一选型结论。
跨章综合
可恢复性首先是信息问题。第2章要求把事实与可变解释分开,第8章先统一身份再聚合,第10章说明有损摘要无法事后枚举成员。三者共同约束了“什么时候可以丢信息”:派生结果可以压缩,但完整输入与重新解释它的条件必须保留。
性能也不仅是算得快。第4章按数据类型组织物理存储,第6章减少无谓重分区,第10—13章按查询共置和排序;同样的数据总量会因随机寻道、跨节点扇出和状态值大小产生不同代价。第18章进一步说明周期变长会让下轮输入变多,靠近饱和时这一反馈会放大微小扰动。
恢复语义要逐层判断。队列持久化保留输入,至少一次处理允许重放;幂等更新或批次协议防止状态重复累加;日志与检查点恢复丢失的内存;版本发布和查询合并决定用户看见哪些结果。这些机制互相配合,却不能相互替代,尤其不能把单键幂等或本地分片切换称为全局事务。
速度层的意义是限制复杂状态的时间范围。它可采用精确或经过评估的临时近似,也可因业务本来需要等待而采用增量批处理。身份误差、迟到数据、会话完成及清理边界都需要具体口径;最终由批处理接替的承诺,还依赖完整输入、正确计算和有效发布。
发散与实践
以下为读者延伸,计划交付不代表实践全部完成。三项实践分别把书中的可重算与增量状态问题用于本次资料库对账、以后解析器变更的重刷范围决策,以及Apache Storm批次状态实现深读。
孤儿记录诊断(文件:ideas/idea-001-cardbox重命名孤儿记录诊断.md)已准备本书41条导入前数据库基线,后续对照173个最终文件检查集合和哈希;历史9690记录不在本次查询结果中。重刷提醒评估(文件:ideas/idea-002-force重刷提醒机制评估.md)保留为下一次确有解析器变更时的决策计划,本轮未修改应用代码。Trident批次状态深读(文件:ideas/idea-003-Trident批次状态深读.md)已固定官方提交、读取四个核心类型并建立两层阅读计划,缓存、后端与测试的进一步阅读尚未执行。
本书代码示例含与正文定义不一致的边界及公式排版问题,相应章节已就地说明。实践应从明确的问题和已核验版本开始,不直接复制旧API、性能数字或伪代码到生产。