主题对照

Lambda架构与数据系统分层

比较以不可变主数据、批处理层、服务层与速度层构建数据系统的思路,以及重算、增量与视图合并的取舍。

83 张卡片 · 17 本书

本层 83 张卡片 · 含下级覆盖 83 张卡片

本主题的卡片

大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 大数据的新范式

数据系统属性

可靠的大数据系统要同时追求容错、低延迟读写、可扩展、可扩展功能、支持即席查询、低维护成本和可调试性。这些属性相互牵制,架构设计的价值就在于找到能长期维持这些属性的结构。

查看卡片与原书出处

大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 大数据的新范式

Lambda三层

Lambda 架构把系统拆成批处理层、服务层和速度层:批处理层用不可变全量数据生成权威视图,服务层低延迟查询这些视图,速度层补齐最新数据。它用结构分工换取简单性和可恢复性。

查看卡片与原书出处

大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 大数据的新范式

原始数据优先

保存原始事实比只保存聚合结果更有弹性,因为新需求、错误修复和模型变化都可以从原始数据重新计算。聚合结果是可再生资产,原始事实才是系统长期价值的来源。

查看卡片与原书出处

大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 大数据的数据模型

事实不可变

核心记录可建成带时间的不可变事实:正常业务变化通过追加新事实表达,保留旧时刻发生过什么。这样既能查询历史,也能重算派生视图。

不可变不等于错误永远不能清除。书中的纠错方式是谨慎过滤错误事实,再重新计算;保留策略或法规也可能要求删除。特殊删除应先构造过滤后的副本、验证后替换,避免直接破坏正确事实。

查看卡片与原书出处

大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 批处理层的数据存储

主数据集需求

主数据集存储最重要的能力不是随机更新,而是可靠追加、可扩展顺序读、可复制和低成本保存历史。它承担的是系统记忆,查询性能应交给派生视图,而不是污染核心存储模型。

查看卡片与原书出处

大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 批处理层

重算换简单

重新计算算法每次从权威主数据集生成视图,看似浪费,却能大幅降低状态维护复杂度。只要批处理成本可接受,它比增量算法更容易验证、调试和从错误中恢复。

查看卡片与原书出处

大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 批处理层

增量隐藏状态

增量算法只处理变化量,性能诱人,但必须正确维护中间状态和历史依赖。一旦需求改变、旧逻辑有 bug 或输入乱序,隐藏状态会变成债务;是否增量化应先看状态复杂度,而不是只看速度。

查看卡片与原书出处

大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 服务层概述

服务层只服务视图

服务层的职责是把批处理层生成的视图索引成低延迟查询结构,而不是重新承担通用数据库的写入逻辑。它越接近只读服务,越容易获得简单、稳定和高吞吐。

查看卡片与原书出处

大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 服务层概述

预计算的取舍

视图设计是在批处理预计算量、视图大小和查询时计算量之间取平衡。预计算越多,查询越快但存储越大;预计算越少,服务层越灵活但延迟风险越高。

查看卡片与原书出处

大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 服务层概述

批量替换视图

服务层数据库应支持批量加载新视图,并在新版本可用时替换旧视图。先生成、后发布,可避免在线逐项改写当前视图。

替换的原子性范围取决于发布协议。第11章ElephantDB示例只描述各节点下载完成后切换分片,不能据此认为跨节点、跨视图会同时切换,回滚也需另外设计。

查看卡片与原书出处

大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 实时视图

速度层补新鲜度

速度层处理尚未进入批处理视图的近期数据,通过增量更新的实时视图补齐新鲜度。对应数据进入服务层后,相关实时状态便可丢弃。

速度层是临时层,算法可以精确,也可以为了延迟采用近似计算;若采用近似结果,后续准确的批处理结果可予以修正。不能把“速度层”直接等同于“近似计算”。

查看卡片与原书出处

大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 实时视图

实时视图可过期

实时视图应有明确过期边界:当对应数据被批处理层吸收后,速度层可以删除或忽略这段状态。过期机制让实时层保持小而可管理,避免演变成完整数据库。

查看卡片与原书出处

大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 队列和流处理

速度层应少做事

速度层越复杂,维护状态、恢复失败和解释结果的成本越高。能在批处理中准确修正的逻辑,不必强行实时化;实时层应专注弥补新鲜度缺口,而不是复制全部业务智能。

查看卡片与原书出处

大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 深入Lambda架构

查询是数据函数

数据系统可以抽象成对已知数据计算函数并回答查询。这个定义迫使设计者区分权威输入和派生结果:只要输入可保留、函数可重跑,系统就有纠错和演化空间。

查看卡片与原书出处

大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 深入Lambda架构

三指标张力

查询的延迟、时效性和准确性很难同时最大化。低延迟可能牺牲最新数据,强时效可能牺牲可用性,近似算法可能牺牲准确性。架构讨论应把这些取舍显式化。

查看卡片与原书出处

大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 深入Lambda架构

部分重算

部分重算先找出新数据影响的实体,再取出这些实体的完整相关事实,运行普通重算算法,最后合并其新结果。它省去未变化实体的计算与大范围重新分区,但不必然避免全表扫描:书中方法仍用map-only扫描主集筛选相关记录。能否正确修复,还取决于是否找全所有受影响实体。

查看卡片与原书出处

大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 深入Lambda架构

多批处理层

多个批处理层可以按时间尺度分工:低频全量层负责最终纠错,中频增量层缩短服务层滞后,速度层只补最近缺口。每一层都在减轻上一层的复杂度和状态规模。

查看卡片与原书出处

大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 深入Lambda架构

批处理追赶线

批处理工作流必须让每小时新增数据的动态处理时间小于一小时,否则系统会越跑越落后。优化时要关注单位数据处理成本,而不只是单次任务的表面耗时。

查看卡片与原书出处

大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 深入Lambda架构

合并查询逻辑

查询层负责决定两层视图各覆盖哪些输入,以及按什么规则组合结果。时间可分割的计数可对不重叠范围求和;生日区间估计则要比较候选区间,并携带样本数以决定冲突时采用哪边结果。

视图设计应从合并规则反推需要保存的信息,单个估计值往往不够。共享规范化代码有助统一口径,但不能代替覆盖边界、合并运算与冲突策略。

查看卡片与原书出处

数据密集型应用系统设计 · 数据系统的未来

批流统一与函数式

批处理与流处理都产出衍生数据。[[无界输入的连锁反应]]是两者的根本区别,但实现已趋模糊:Spark 用微批次做流,Flink 在流引擎上做批,只是性能特征不同。批处理有很强的函数式风格:确定性纯函数,输出只依赖输入,输入不可变、输出仅追加;流处理只是增加了受管理的容错状态。输入输出明确的确定性函数既利于容错,也便于把整个组织理解为数据管道。异步维护衍生数据反而更稳健,能把故障局限在局部。

查看卡片与原书出处

数据密集型应用系统设计 · 数据系统的未来

渐进式演化

流处理让变化低延迟地反映到视图,批处理则能重新处理历史数据。没有重新处理,模式演化只能做加可选字段这类简单变化;有了它,数据集可以重组为完全不同的模型。19 世纪英国铁路统一轨距时,先给轨道加第三条轨成为双轨距,待列车全部换成标准轨距再拆除旧轨。衍生视图是软件版的双轨距:在同一基础数据上并行维护新旧两个视图,先让少量用户试用新视图,逐步扩大,最终删除旧视图。每一步都可回滚,反而敢于更快前进。

查看卡片与原书出处

数据密集型应用系统设计 · 数据系统的未来

Lambda架构的问题

Lambda 架构把输入记为不可变事件流,并行运行批处理系统如 Hadoop 和流处理系统如 Storm:流处理快速给出近似结果,批处理随后给出精确更正。它推广了在不可变事件上建衍生视图的原则,但有三个问题:同一逻辑要在两套框架中维护;两条管道的输出要合并,连接、会话化等复杂操作难以合并;全量重跑代价高,实践中批处理改为增量批次,又引入滞留事件等时间推理问题,违背了保持批处理层简单的初衷。

查看卡片与原书出处

数据密集型应用系统设计 · 数据系统的未来

统一批流的三项能力

针对[[Lambda架构的问题]],更新的思路是在同一系统中实现批处理与流计算,需要三项能力。一是用同一引擎重播历史事件,如[[重播旧消息]]所述的日志代理,或让流处理器直接读取 HDFS。二是恰好一次语义。三是按事件时间而非处理时间开窗,因为重新处理历史时处理时间毫无意义。这把批重新定义为有界的流,而非把流当作加速的批。

查看卡片与原书出处

云原生数据中台:架构、方法论与实践 2021 · 数据流水线管理

批流合一取舍

批处理和流处理分开存储、分开处理,会带来资源冗余和额外的协调工作,这是“批流合一”受欢迎的原因。以Kappa架构为例,它在一个流式引擎里同时做实时处理和重新处理,要求数据流能从头或从指定位置回放,代码变更时重播全部历史数据。它有适合的场景,但本质上不能替代批流分离的Lambda架构,是否采用要看时效、回放需求和运维能力。

查看卡片与原书出处

云计算架构技术与实践(第2版) · 大数据平台核心技术与架构

流处理权衡

流处理在数据到达时就计算,先算后存,响应在毫秒到秒级。实现上有两条路:微批把流切成小批处理,吞吐高、便于与批处理共用平台,但时延只能到秒级;逐事件处理时延更低,并能把批处理当作有界流来统一。取舍在时延、吞吐、容错和平台复杂度之间,流批统一是趋势。

查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据架构设计

存储组件分工共存

常见误区是把关系库数据全导进 Hadoop 后废弃关系库,结果即时查询变慢;或只把日志写进 NoSQL,导致无法与关系数据关联分析。成熟的做法是分工共存:Hadoop 存原始数据和离线数据,Spark、Storm 等生成实时数据,关系库和内存库提供在线查询。

查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据工作流

三种计算时效

实时计算要求秒级甚至更快,用于实时广告、个性化推荐、监测预警;离线计算不要求时效,可充分计算全量数据,用于用户画像、流失预警等;临时计算介于两者之间,典型是即席查询,条件临时输入无法预计算。只有大中型或海量数据企业才需要把三者拆开设计。

查看卡片与原书出处

分布式实时计算框架原理及实践案例 · 分布式实时计算框架介绍

离线与实时分野

Hadoop MapReduce 适合离线批处理:必须处理完全部输入数据才返回最终结果,而且通常要几百上千台服务器才能体现优势。实时推荐、用户行为实时分析等业务等不了这么久,用户兴趣本身变化不定,只有抓住当前喜好做推荐才能留住用户,因此需要实时计算框架。对只需要小而精平台的中小企业,Hadoop 集群也偏重。

查看卡片与原书出处

分布式实时计算框架原理及实践案例 · 综合实例:新闻推荐中的用户画像近实时更新

日志与埋点互补

推荐系统的行为数据有两个来源:网站访问日志(如 Nginx)一般不会遗漏、信息量大,可从请求 URL 分析出行为类型和资源,是数据挖掘的基础;分享、收藏、转发等通过 Ajax 异步完成的行为不会进入访问日志,要靠前端埋点实时提交,经 MQ 统一收集。访问日志按小时或天批量处理,用来周期性修正实时计算造成的画像偏差。

查看卡片与原书出处

分布式实时计算框架原理及实践案例 · 综合实例:新闻推荐中的用户画像近实时更新

画像权重随时间衰减

用户画像给用户打标签并计算权重。标签按时间可分为长期兴趣、短期兴趣、当前热门和突发事件标签。长期兴趣标签的权重初始为该标签下已读新闻数除以浏览总数,之后在原有基础上累加,并参考牛顿冷却定律做时间衰减,按天或数小时更新;实时计算产生的权重偏差由周期性的离线批处理修正。

查看卡片与原书出处
辅助阅读:卢曼编号

按卢曼编号阅读

点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。

  • 展开或收起下级: 499 事件时间与处理时间的本质区别 路径上下文 Flink入门与实战 · 定义、架构与原理 理解等级:未标注
    • 展开或收起下级: 499.g Kappa以流代批 路径上下文 Flink原理与实践 · 大数据技术概述 理解等级:未标注
      • 499.g.2 快速追随者与Kappa 主题成员 数据工程之道-设计和构建健壮的数据系统 · 第8章 查询、建模和转换 理解等级:中级
  • 展开或收起下级: 1783 复杂性来自增量 路径上下文 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 大数据的新范式 理解等级:未标注
    • 展开或收起下级: 1783.a NoSQL不是银弹 路径上下文 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 大数据的新范式 理解等级:未标注
      • 1783.a.1 工具要匹配数据职责 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 大数据的新范式 理解等级:中级
    • 1783.b 数据系统属性 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 大数据的新范式 理解等级:未标注
    • 展开或收起下级: 1783.c Lambda三层 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 大数据的新范式 理解等级:未标注
    • 展开或收起下级: 1783.d 原始数据优先 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 大数据的新范式 理解等级:未标注
      • 1783.d.1 保留中间结果便于调试 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 大数据的新范式 理解等级:中级
      • 1783.d.2 原始性取决于观察者 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 大数据的数据模型 理解等级:中级
      • 1783.d.3 保留语义规范化输入 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 大数据的数据模型 理解等级:高级
      • 1783.d.4 原始数据不等于最多字节 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 大数据的数据模型 理解等级:高级
    • 1783.e 在线合并会挤占容量 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 大数据的新范式 理解等级:高级
  • 展开或收起下级: 1784 事实不可变 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 大数据的数据模型 理解等级:未标注
    • 展开或收起下级: 1784.a 粒度决定弹性 路径上下文 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 大数据的数据模型 理解等级:未标注
      • 1784.a.1 原子事实支持部分信息 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 大数据的数据模型 理解等级:中级
    • 展开或收起下级: 1784.b 图适合表达关系 路径上下文 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 大数据的数据模型 理解等级:未标注
      • 1784.b.3 新事实类型不改旧事实 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 大数据的数据模型 理解等级:中级
    • 1784.c 时间戳绑定历史事实 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 大数据的数据模型 理解等级:中级
    • 1784.d 清理事实先验证副本 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 大数据的数据模型 理解等级:中级
  • 展开或收起下级: 1785 主数据集需求 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 批处理层的数据存储 理解等级:未标注
    • 展开或收起下级: 1785.c 新文件追加不可变数据 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 批处理层的数据存储 理解等级:中级
      • 展开或收起下级: 1785.c.1 追加要保持数据集约束 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 批处理层的数据存储 理解等级:中级
        • 展开或收起下级: 1785.c.1.a Pail维护数据集元信息 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 批处理层的数据存储:示例 理解等级:中级
          • 1785.c.1.a.1 关闭写流决定记录可见 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 批处理层的数据存储:示例 理解等级:中级
        • 1785.c.1.b 快照限定追加清理范围 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 批处理层示例:实现 理解等级:中级
  • 展开或收起下级: 1786 重算换简单 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 批处理层 理解等级:未标注
    • 展开或收起下级: 1786.a 增量隐藏状态 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 批处理层 理解等级:未标注
      • 1786.a.1 增量更新需要充分状态 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 批处理层 理解等级:中级
    • 展开或收起下级: 1786.c 管道图思维 路径上下文 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 批处理层 理解等级:未标注
      • 1786.c.7 同批视图共享输入边界 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 批处理层示例:架构和算法 理解等级:中级
    • 1786.d 模型改变也会改变结果 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 批处理层 理解等级:中级
    • 1786.e 近期重算也有延迟门槛 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 实时视图 理解等级:中级
  • 展开或收起下级: 1787 规范化先于聚合 路径上下文 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 批处理层示例:架构和算法 理解等级:未标注
    • 展开或收起下级: 1787.a 去重是语义问题 路径上下文 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 大数据的数据模型 理解等级:未标注
      • 展开或收起下级: 1787.a.3 独立计数不能直接相加 路径上下文 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 批处理层示例:架构和算法 理解等级:中级
        • 展开或收起下级: 1787.a.3.a 基数摘要保留可合并状态 路径上下文 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 批处理层示例:架构和算法 理解等级:中级
          • 1787.a.3.a.2 摘要在服务端合并可省传输 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 服务层示例:ElephantDB 理解等级:中级
    • 展开或收起下级: 1787.b 等价关系会改写历史 路径上下文 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 批处理层示例:架构和算法 理解等级:未标注
      • 1787.b.2 增量修正需要反向定位 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 服务层概述 理解等级:中级
    • 1787.f 两层共享规范化语义 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 队列和流处理 理解等级:中级
  • 展开或收起下级: 1788 服务层只服务视图 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 服务层概述 理解等级:未标注
    • 展开或收起下级: 1788.a 预计算的取舍 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 服务层概述 理解等级:未标注
      • 展开或收起下级: 1788.a.1 多粒度桶减少范围读取 路径上下文 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 批处理层示例:架构和算法 理解等级:中级
        • 1788.a.1.a 粒度选择取决于值的成本 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 服务层概述 理解等级:中级
        • 1788.a.1.b 缺少范围接口可换预计算粒度 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 服务层示例:ElephantDB 理解等级:中级
    • 展开或收起下级: 1788.b 批量替换视图 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 服务层概述 理解等级:未标注
      • 1788.b.1 服务节点主动拉取新分片 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 服务层示例:ElephantDB 理解等级:中级
      • 1788.b.2 分片切换只证明局部版本更新 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 服务层示例:ElephantDB 理解等级:中级
      • 1788.b.3 增量构建仍可发布新版本 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 深入Lambda架构 理解等级:中级
  • 展开或收起下级: 1789 速度层补新鲜度 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 实时视图 理解等级:未标注
    • 展开或收起下级: 1789.a 实时视图可过期 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 实时视图 理解等级:未标注
      • 1789.a.2 交替视图保留未覆盖窗口 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 实时视图 理解等级:中级
    • 展开或收起下级: 1789.c 增量计算难点 路径上下文 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 实时视图 理解等级:中级
      • 展开或收起下级: 1789.c.1 计数副本不能直接合并 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 大数据的新范式 理解等级:高级
        • 1789.c.1.a 合并计数须保留来源分量 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 实时视图 理解等级:中级
    • 1789.e 复杂状态应当可丢弃 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 大数据的新范式 理解等级:高级
    • 1789.f 临时状态限制复杂性规模 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 实时视图 理解等级:中级
  • 展开或收起下级: 1790 队列解耦速度 路径上下文 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 队列和流处理 理解等级:中级
    • 1790.c 速度层应少做事 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 队列和流处理 理解等级:未标注
    • 1790.d 批量写入摊薄开销 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 大数据的新范式 理解等级:中级
  • 展开或收起下级: 1792 查询是数据函数 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 深入Lambda架构 理解等级:未标注
    • 1792.a 三指标张力 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 深入Lambda架构 理解等级:未标注
    • 1792.b 部分重算 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 深入Lambda架构 理解等级:中级
    • 1792.c 多批处理层 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 深入Lambda架构 理解等级:未标注
    • 1792.d 批处理追赶线 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 深入Lambda架构 理解等级:未标注
    • 1792.e 合并查询逻辑 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 深入Lambda架构 理解等级:中级
  • 展开或收起下级: 1958 分治知识抽象三武器 路径上下文 恰如其分的软件架构 · 概述 理解等级:未标注
    • 展开或收起下级: 1958.ac 架构统筹整体并预防风险 路径上下文 架构真意企业级应用架构设计方法论与实践 · 第1章 架构师的修炼 理解等级:中级
      • 展开或收起下级: 1958.ac.2 五视图覆盖不同设计问题 路径上下文 架构真意企业级应用架构设计方法论与实践 · 第1章 架构师的修炼 理解等级:中级
        • 展开或收起下级: 1958.ac.2.f 领域模型连接事物行为关系 路径上下文 架构真意企业级应用架构设计方法论与实践 · 第2章 逻辑架构设计 理解等级:中级
          • 展开或收起下级: 1958.ac.2.f.6 聚合修改与统计读取分开 路径上下文 架构真意企业级应用架构设计方法论与实践 · 第3章 数据架构设计 理解等级:高级
            • 展开或收起下级: 1958.ac.2.f.6.a 命令查询分别设计 路径上下文 架构真意企业级应用架构设计方法论与实践 · 第4章 开发架构设计 理解等级:中级
              • 展开或收起下级: 1958.ac.2.f.6.a.2 按访问负载设计数据库 路径上下文 架构真意企业级应用架构设计方法论与实践 · 第7章 分布式架构设计 理解等级:中级
                • 1958.ac.2.f.6.a.2.b 汇总与实时数据划清边界 主题成员 架构真意企业级应用架构设计方法论与实践 · 第7章 分布式架构设计 理解等级:中级
  • 展开或收起下级: 2275 系统三要素 路径上下文 从零开始学架构 · 架构到底是指什么? 理解等级:未标注
    • 展开或收起下级: 2275.as 运维平台四化 路径上下文 从零开始学架构 · 互联网架构模板:"平台"技术 理解等级:未标注
      • 展开或收起下级: 2275.as.6 数据平台承载数据价值 路径上下文 Practical Lakehouse Architecture · Chapter 1. Introduction to Lakehouse Architecture 理解等级:初级
        • 展开或收起下级: 2275.as.6.g 湖仓在数据湖上加事务层 路径上下文 Practical Lakehouse Architecture · Chapter 1. Introduction to Lakehouse Architecture 理解等级:中级
          • 展开或收起下级: 2275.as.6.g.7 Lambda双路径增加维护 主题成员 Practical Lakehouse Architecture · Chapter 1. Introduction to Lakehouse Architecture 理解等级:中级
            • 2275.as.6.g.7.a 从Lambda到批是流的特例 主题成员 数据工程之道-设计和构建健壮的数据系统 · 第3章 设计好的数据架构 理解等级:高级
        • 展开或收起下级: 2275.as.6.j 数据应用需要贯通治理链 路径上下文 架构真意企业级应用架构设计方法论与实践 · 第三部分导读 理解等级:中级
          • 展开或收起下级: 2275.as.6.j.3 共享治理减少重复分析劳动 路径上下文 架构真意企业级应用架构设计方法论与实践 · 第10章 大数据时代变革 理解等级:中级
            • 展开或收起下级: 2275.as.6.j.3.d 仓库分层隔离不同变化 路径上下文 架构真意企业级应用架构设计方法论与实践 · 第10章 大数据时代变革 理解等级:中级
              • 2275.as.6.j.3.d.2 原始数据保留用于追溯重算 主题成员 架构真意企业级应用架构设计方法论与实践 · 第11章 大数据技术中台 理解等级:中级
          • 2275.as.6.j.19 在线近线离线按时效选路 主题成员 架构真意企业级应用架构设计方法论与实践 · 第11章 大数据技术中台 理解等级:中级
  • 展开或收起下级: 2280 故障不同于失效 路径上下文 数据密集型应用系统设计 · 可靠性、可伸缩性、可维护性 理解等级:未标注
    • 展开或收起下级: 2280.s 没有万能数据工具 路径上下文 数据密集型应用系统设计 · 数据系统的未来 理解等级:未标注
      • 2280.s.4 批流统一与函数式 主题成员 数据密集型应用系统设计 · 数据系统的未来 理解等级:未标注
      • 2280.s.5 渐进式演化 主题成员 数据密集型应用系统设计 · 数据系统的未来 理解等级:未标注
      • 2280.s.6 Lambda架构的问题 主题成员 数据密集型应用系统设计 · 数据系统的未来 理解等级:未标注
      • 2280.s.7 统一批流的三项能力 主题成员 数据密集型应用系统设计 · 数据系统的未来 理解等级:未标注
  • 展开或收起下级: 2664 流水线管全流程 路径上下文 云原生数据中台:架构、方法论与实践 2021 · 数据流水线管理 理解等级:未标注
    • 2664.b 批流合一取舍 主题成员 云原生数据中台:架构、方法论与实践 2021 · 数据流水线管理 理解等级:未标注
  • 展开或收起下级: 2685 大数据受限于IT 路径上下文 云计算架构技术与实践(第2版) · 大数据平台核心技术与架构 理解等级:未标注
    • 2685.b 流处理权衡 主题成员 云计算架构技术与实践(第2版) · 大数据平台核心技术与架构 理解等级:未标注
  • 2775 存储组件分工共存 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据架构设计 理解等级:未标注
  • 展开或收起下级: 2777 数据质量六维度 路径上下文 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据工作流 理解等级:未标注
    • 2777.c 三种计算时效 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据工作流 理解等级:未标注
  • 2800 离线与实时分野 主题成员 分布式实时计算框架原理及实践案例 · 分布式实时计算框架介绍 理解等级:未标注
  • 展开或收起下级: 2807 推荐系统是闭环 路径上下文 分布式实时计算框架原理及实践案例 · 综合实例:新闻推荐中的用户画像近实时更新 理解等级:未标注
    • 2807.a 日志与埋点互补 主题成员 分布式实时计算框架原理及实践案例 · 综合实例:新闻推荐中的用户画像近实时更新 理解等级:未标注
    • 2807.c 画像权重随时间衰减 主题成员 分布式实时计算框架原理及实践案例 · 综合实例:新闻推荐中的用户画像近实时更新 理解等级:未标注
  • 展开或收起下级: 2823 算法系统两点不同 主题成员 分布式机器学习实战 · 大数据算法系统架构 理解等级:未标注
    • 2823.a 实时协同过滤 主题成员 分布式机器学习实战 · 大数据算法系统架构 理解等级:未标注
  • 展开或收起下级: 3092 流关联操作为什么容易变慢 路径上下文 实时流计算系统设计与实现 · 第4章 数据处理 理解等级:未标注
    • 3092.e 离线基线加实时增量 主题成员 实时流计算系统设计与实现 · 第4章 数据处理 理解等级:未标注
  • 展开或收起下级: 3106 做不到实时计算的三大原因 路径上下文 实时流计算系统设计与实现 · 第7章 当做不到实时 理解等级:未标注
  • 4156 Lambda架构的两个理论假设 主题成员 高可用架构(第1卷) · 电商架构热点专题 理解等级:高级
  • 4157 Lambda双份逻辑代价 主题成员 高可用架构(第1卷) · 电商架构热点专题 理解等级:高级
  • 展开或收起下级: 5404 大数据取决于处理能力边界 路径上下文 大数据日知录_架构与算法 理解等级:中级

未编号或编号待整理

  • 大数据实时化 理解等级:未标注

    阿里云云原生架构实践 · 云原生架构的发展趋势

  • 核心指标实时 理解等级:未标注

    数据中台实战:手把手教你搭建数据中台 · 交易分析

  • 实时离线分层 理解等级:未标注

    数据中台实战:手把手教你搭建数据中台 · 推荐平台

  • 实时离线混排 理解等级:未标注

    数据中台实战:手把手教你搭建数据中台 · 推荐平台

  • 贷前贷中差异 理解等级:未标注

    智能风控平台:架构、设计与实现 2021 · 智能风控平台架构

来源书籍

来源书籍

分布式机器学习实战

大数据与机器学习平台工程类

Skill 版本:v8

书籍类型:工程实践

清单覆盖 7/7

34 张卡片

主题索引

存储模型选型

比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。

699 张卡片 · 63 本书

主题索引

大数据计算范式

比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。

298 张卡片 · 32 本书

主题索引

大数据营销、广告与征信应用

比较大数据在用户画像、个性化营销、程序化广告与实时竞价、大数据征信中的方法、数据来源与风险。

108 张卡片 · 12 本书

主题索引

流处理模型与语义:拓扑、分组与时间

把流当成持续计算来看:拓扑与算子、无界与有界的区别、分组与重分区、键与时间的语义、CEP 与关联操作,以及批流合一与 Lambda/Kappa 的取舍。

105 张卡片 · 25 本书

主题索引

数据分析、实验与因果

从数据里得出可行动的结论:用户行为与生命周期怎么建模、A/B 实验怎么设计才有效、观测数据下的因果推断能推到哪一步。

84 张卡片 · 13 本书

主题索引

企业数据战略、组织与价值评估

比较企业如何确定大数据战略定位与启动时机、设计数据部门组织与岗位、评估数据投入产出与资产价值,以及数据与业务、经验决策之间的协作边界。

65 张卡片 · 8 本书