数据系统属性
可靠的大数据系统要同时追求容错、低延迟读写、可扩展、可扩展功能、支持即席查询、低维护成本和可调试性。这些属性相互牵制,架构设计的价值就在于找到能长期维持这些属性的结构。
主题对照
比较以不可变主数据、批处理层、服务层与速度层构建数据系统的思路,以及重算、增量与视图合并的取舍。
可靠的大数据系统要同时追求容错、低延迟读写、可扩展、可扩展功能、支持即席查询、低维护成本和可调试性。这些属性相互牵制,架构设计的价值就在于找到能长期维持这些属性的结构。
Lambda 架构把系统拆成批处理层、服务层和速度层:批处理层用不可变全量数据生成权威视图,服务层低延迟查询这些视图,速度层补齐最新数据。它用结构分工换取简单性和可恢复性。
保存原始事实比只保存聚合结果更有弹性,因为新需求、错误修复和模型变化都可以从原始数据重新计算。聚合结果是可再生资产,原始事实才是系统长期价值的来源。
核心记录可建成带时间的不可变事实:正常业务变化通过追加新事实表达,保留旧时刻发生过什么。这样既能查询历史,也能重算派生视图。
不可变不等于错误永远不能清除。书中的纠错方式是谨慎过滤错误事实,再重新计算;保留策略或法规也可能要求删除。特殊删除应先构造过滤后的副本、验证后替换,避免直接破坏正确事实。
主数据集存储最重要的能力不是随机更新,而是可靠追加、可扩展顺序读、可复制和低成本保存历史。它承担的是系统记忆,查询性能应交给派生视图,而不是污染核心存储模型。
重新计算算法每次从权威主数据集生成视图,看似浪费,却能大幅降低状态维护复杂度。只要批处理成本可接受,它比增量算法更容易验证、调试和从错误中恢复。
增量算法只处理变化量,性能诱人,但必须正确维护中间状态和历史依赖。一旦需求改变、旧逻辑有 bug 或输入乱序,隐藏状态会变成债务;是否增量化应先看状态复杂度,而不是只看速度。
服务层的职责是把批处理层生成的视图索引成低延迟查询结构,而不是重新承担通用数据库的写入逻辑。它越接近只读服务,越容易获得简单、稳定和高吞吐。
视图设计是在批处理预计算量、视图大小和查询时计算量之间取平衡。预计算越多,查询越快但存储越大;预计算越少,服务层越灵活但延迟风险越高。
服务层数据库应支持批量加载新视图,并在新版本可用时替换旧视图。先生成、后发布,可避免在线逐项改写当前视图。
替换的原子性范围取决于发布协议。第11章ElephantDB示例只描述各节点下载完成后切换分片,不能据此认为跨节点、跨视图会同时切换,回滚也需另外设计。
速度层处理尚未进入批处理视图的近期数据,通过增量更新的实时视图补齐新鲜度。对应数据进入服务层后,相关实时状态便可丢弃。
速度层是临时层,算法可以精确,也可以为了延迟采用近似计算;若采用近似结果,后续准确的批处理结果可予以修正。不能把“速度层”直接等同于“近似计算”。
实时视图应有明确过期边界:当对应数据被批处理层吸收后,速度层可以删除或忽略这段状态。过期机制让实时层保持小而可管理,避免演变成完整数据库。
速度层越复杂,维护状态、恢复失败和解释结果的成本越高。能在批处理中准确修正的逻辑,不必强行实时化;实时层应专注弥补新鲜度缺口,而不是复制全部业务智能。
数据系统可以抽象成对已知数据计算函数并回答查询。这个定义迫使设计者区分权威输入和派生结果:只要输入可保留、函数可重跑,系统就有纠错和演化空间。
查询的延迟、时效性和准确性很难同时最大化。低延迟可能牺牲最新数据,强时效可能牺牲可用性,近似算法可能牺牲准确性。架构讨论应把这些取舍显式化。
部分重算先找出新数据影响的实体,再取出这些实体的完整相关事实,运行普通重算算法,最后合并其新结果。它省去未变化实体的计算与大范围重新分区,但不必然避免全表扫描:书中方法仍用map-only扫描主集筛选相关记录。能否正确修复,还取决于是否找全所有受影响实体。
多个批处理层可以按时间尺度分工:低频全量层负责最终纠错,中频增量层缩短服务层滞后,速度层只补最近缺口。每一层都在减轻上一层的复杂度和状态规模。
批处理工作流必须让每小时新增数据的动态处理时间小于一小时,否则系统会越跑越落后。优化时要关注单位数据处理成本,而不只是单次任务的表面耗时。
查询层负责决定两层视图各覆盖哪些输入,以及按什么规则组合结果。时间可分割的计数可对不重叠范围求和;生日区间估计则要比较候选区间,并携带样本数以决定冲突时采用哪边结果。
视图设计应从合并规则反推需要保存的信息,单个估计值往往不够。共享规范化代码有助统一口径,但不能代替覆盖边界、合并运算与冲突策略。
批处理与流处理都产出衍生数据。[[无界输入的连锁反应]]是两者的根本区别,但实现已趋模糊:Spark 用微批次做流,Flink 在流引擎上做批,只是性能特征不同。批处理有很强的函数式风格:确定性纯函数,输出只依赖输入,输入不可变、输出仅追加;流处理只是增加了受管理的容错状态。输入输出明确的确定性函数既利于容错,也便于把整个组织理解为数据管道。异步维护衍生数据反而更稳健,能把故障局限在局部。
流处理让变化低延迟地反映到视图,批处理则能重新处理历史数据。没有重新处理,模式演化只能做加可选字段这类简单变化;有了它,数据集可以重组为完全不同的模型。19 世纪英国铁路统一轨距时,先给轨道加第三条轨成为双轨距,待列车全部换成标准轨距再拆除旧轨。衍生视图是软件版的双轨距:在同一基础数据上并行维护新旧两个视图,先让少量用户试用新视图,逐步扩大,最终删除旧视图。每一步都可回滚,反而敢于更快前进。
Lambda 架构把输入记为不可变事件流,并行运行批处理系统如 Hadoop 和流处理系统如 Storm:流处理快速给出近似结果,批处理随后给出精确更正。它推广了在不可变事件上建衍生视图的原则,但有三个问题:同一逻辑要在两套框架中维护;两条管道的输出要合并,连接、会话化等复杂操作难以合并;全量重跑代价高,实践中批处理改为增量批次,又引入滞留事件等时间推理问题,违背了保持批处理层简单的初衷。
针对[[Lambda架构的问题]],更新的思路是在同一系统中实现批处理与流计算,需要三项能力。一是用同一引擎重播历史事件,如[[重播旧消息]]所述的日志代理,或让流处理器直接读取 HDFS。二是恰好一次语义。三是按事件时间而非处理时间开窗,因为重新处理历史时处理时间毫无意义。这把批重新定义为有界的流,而非把流当作加速的批。
批处理和流处理分开存储、分开处理,会带来资源冗余和额外的协调工作,这是“批流合一”受欢迎的原因。以Kappa架构为例,它在一个流式引擎里同时做实时处理和重新处理,要求数据流能从头或从指定位置回放,代码变更时重播全部历史数据。它有适合的场景,但本质上不能替代批流分离的Lambda架构,是否采用要看时效、回放需求和运维能力。
流处理在数据到达时就计算,先算后存,响应在毫秒到秒级。实现上有两条路:微批把流切成小批处理,吞吐高、便于与批处理共用平台,但时延只能到秒级;逐事件处理时延更低,并能把批处理当作有界流来统一。取舍在时延、吞吐、容错和平台复杂度之间,流批统一是趋势。
常见误区是把关系库数据全导进 Hadoop 后废弃关系库,结果即时查询变慢;或只把日志写进 NoSQL,导致无法与关系数据关联分析。成熟的做法是分工共存:Hadoop 存原始数据和离线数据,Spark、Storm 等生成实时数据,关系库和内存库提供在线查询。
实时计算要求秒级甚至更快,用于实时广告、个性化推荐、监测预警;离线计算不要求时效,可充分计算全量数据,用于用户画像、流失预警等;临时计算介于两者之间,典型是即席查询,条件临时输入无法预计算。只有大中型或海量数据企业才需要把三者拆开设计。
Hadoop MapReduce 适合离线批处理:必须处理完全部输入数据才返回最终结果,而且通常要几百上千台服务器才能体现优势。实时推荐、用户行为实时分析等业务等不了这么久,用户兴趣本身变化不定,只有抓住当前喜好做推荐才能留住用户,因此需要实时计算框架。对只需要小而精平台的中小企业,Hadoop 集群也偏重。
推荐系统的行为数据有两个来源:网站访问日志(如 Nginx)一般不会遗漏、信息量大,可从请求 URL 分析出行为类型和资源,是数据挖掘的基础;分享、收藏、转发等通过 Ajax 异步完成的行为不会进入访问日志,要靠前端埋点实时提交,经 MQ 统一收集。访问日志按小时或天批量处理,用来周期性修正实时计算造成的画像偏差。
用户画像给用户打标签并计算权重。标签按时间可分为长期兴趣、短期兴趣、当前热门和突发事件标签。长期兴趣标签的权重初始为该标签下已读新闻数除以浏览总数,之后在原有基础上累加,并参考牛顿冷却定律做时间衰减,按天或数小时更新;实时计算产生的权重偏差由周期性的离线批处理修正。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
企业大数据建设类
书籍类型:工程实践
清单覆盖 6/7
143 张卡片
来源书籍
企业中台与平台化建设类
书籍类型:工程实践
清单覆盖 7/7
43 张卡片
来源书籍
云基础设施平台类
书籍类型:工程实践
清单覆盖 7/7
45 张卡片
来源书籍
企业大数据建设类
书籍类型:工程实践
清单覆盖 7/7
102 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 5/6
39 张卡片
来源书籍
大数据与机器学习平台工程类
书籍类型:工程实践
清单覆盖 7/7
34 张卡片
来源书籍
分布式系统类
书籍类型:工程实践
清单覆盖 3/6
125 张卡片
来源书籍
书籍类型:未标注
424 张卡片
来源书籍
分布式系统类
书籍类型:经典原理
类别清单尚未核对
173 张卡片
来源书籍
实时流计算系统类
书籍类型:未标注
清单覆盖 8/8
172 张卡片
来源书籍
书籍类型:工程实践
53 张卡片
来源书籍
分布式系统类
书籍类型:经典原理
类别清单尚未核对
194 张卡片
来源书籍
数据工程与数据架构方法类
书籍类型:工程实践
类别清单尚未核对
145 张卡片
来源书籍
书籍类型:工程实践
52 张卡片
来源书籍
书籍类型:未标注
357 张卡片
来源书籍
书籍类型:工程实践
57 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 7/7
424 张卡片
主题索引
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
主题索引
比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。
主题索引
比较大数据在用户画像、个性化营销、程序化广告与实时竞价、大数据征信中的方法、数据来源与风险。
主题索引
把流当成持续计算来看:拓扑与算子、无界与有界的区别、分组与重分区、键与时间的语义、CEP 与关联操作,以及批流合一与 Lambda/Kappa 的取舍。
主题索引
从数据里得出可行动的结论:用户行为与生命周期怎么建模、A/B 实验怎么设计才有效、观测数据下的因果推断能推到哪一步。
主题索引
比较企业如何确定大数据战略定位与启动时机、设计数据部门组织与岗位、评估数据投入产出与资产价值,以及数据与业务、经验决策之间的协作边界。
与 4 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 3 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;共享 3 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类