来源书籍

大数据日知录_架构与算法

Skill 版本:v23 424 张卡片

张俊林 · 电子工业出版社 · 2014-09 · 2014年9月第1版 · ISBN 9787121241536

章节与卡片

00

10 张卡片
  1. 大数据取决于处理能力边界 理解等级:中级 普通读书笔记卡
  2. 区分数据规模速度与形式 理解等级:中级 普通读书笔记卡
  3. 数据流水线连接原始资料与知识 理解等级:中级 结构图卡
  4. 存储计算调度共同支撑分析 理解等级:中级 普通读书笔记卡
  5. 存储选型依据工作负载 理解等级:中级 普通读书笔记卡
  6. 情绪展示取决于采样与分类 理解等级:中级 延伸参考卡
  7. 推荐系统组合多源行为信号 理解等级:中级 延伸参考卡
  8. Watson组合候选生成与评分 理解等级:中级 延伸参考卡
  9. 方向预测准确率不等于收益 理解等级:中级 普通读书笔记卡
  10. 云资源弹性需要应用配合 理解等级:中级 普通读书笔记卡

01 第1章 数据分片与路由

9 张卡片
  1. 二级映射分片 理解等级:高级 普通读书笔记卡
  2. 虚拟桶解耦 理解等级:中级 普通读书笔记卡
  3. 一致哈希迁移 理解等级:中级 普通读书笔记卡
  4. 范围分片取舍 理解等级:高级 普通读书笔记卡
  5. 取模扩容改变归属 理解等级:中级 普通读书笔记卡
  6. 指表跳跃定位后继 理解等级:高级 操作参考卡
  7. 稳定检测修复邻接 理解等级:高级 操作参考卡
  8. 虚拟节点适配异构机器 理解等级:高级 普通读书笔记卡
  9. 故障离环依赖副本 理解等级:高级 普通读书笔记卡

02 第2章 数据复制与一致性

27 张卡片
  1. CAP细粒度化 理解等级:中级 普通读书笔记卡
  2. BASE的代价 理解等级:高级 普通读书笔记卡
  3. ACID与CAP的C 理解等级:高级 普通读书笔记卡
  4. 幂等吸收重试 理解等级:中级 普通读书笔记卡
  5. 一致性谱系 理解等级:高级 普通读书笔记卡
  6. 仲裁读写权衡 理解等级:高级 普通读书笔记卡
  7. 向量时钟判因果 理解等级:中级 普通读书笔记卡
  8. 2PC阻塞态脆弱 理解等级:高级 普通读书笔记卡
  9. Paxos两阶段选值 理解等级:中级 普通读书笔记卡
  10. Raft用任期简化 理解等级:高级 普通读书笔记卡
  11. 分区取舍限定操作 理解等级:中级 普通读书笔记卡
  12. 转账半成功破坏守恒 理解等级:高级 问题卡
  13. 转账使用原子事务 理解等级:高级 支付系统案例卡
  14. 会话保证各有观察范围 理解等级:中级 普通读书笔记卡
  15. 副本更新先确定顺序 理解等级:高级 普通读书笔记卡
  16. 主副本确认决定取舍 理解等级:高级 普通读书笔记卡
  17. 任意节点写须处理冲突 理解等级:高级 普通读书笔记卡
  18. 准备票约束最终决定 理解等级:高级 结构图卡
  19. 准备后超时不能自行回滚 理解等级:高级 操作参考卡
  20. 预提交不消除所有分区 理解等级:高级 普通读书笔记卡
  21. 向量比较识别并发 理解等级:高级 操作参考卡
  22. 并发版本交给业务合并 理解等级:高级 普通读书笔记卡
  23. 复制日志驱动确定状态机 理解等级:高级 结构图卡
  24. 已接受不等于已选定 理解等级:高级 普通读书笔记卡
  25. 安全与进展分别保证 理解等级:高级 普通读书笔记卡
  26. 随机选举还须日志够新 理解等级:中级 普通读书笔记卡
  27. 提交当前任期保护旧日志 理解等级:高级 普通读书笔记卡

03 第3章 大数据常用的算法与数据结构

17 张卡片
  1. 布隆过滤器 理解等级:中级 普通读书笔记卡
  2. SkipList随机索引 理解等级:中级 普通读书笔记卡
  3. LSM写读取舍 理解等级:中级 普通读书笔记卡
  4. Merkle定位差异 理解等级:中级 普通读书笔记卡
  5. 压缩换传输 理解等级:中级 普通读书笔记卡
  6. Cuckoo驱逐冲突 理解等级:中级 普通读书笔记卡
  7. 布隆参数按误判预算算 理解等级:中级 操作参考卡
  8. 计数过滤删除须有依据 理解等级:高级 普通读书笔记卡
  9. 预过滤后仍查真实记录 理解等级:高级 普通读书笔记卡
  10. 跳表更新保存各层前驱 理解等级:中级 操作参考卡
  11. 日志与表元数据分工 理解等级:中级 结构图卡
  12. 零层重叠扩大合并范围 理解等级:高级 普通读书笔记卡
  13. 删除标记延后清理 理解等级:高级 普通读书笔记卡
  14. 包含证明不等于合法交易 理解等级:中级 普通读书笔记卡
  15. 滑动词典引用重复片段 理解等级:中级 普通读书笔记卡
  16. 匹配索引换压缩速度 理解等级:高级 普通读书笔记卡
  17. 短标签索引仍需核验主键 理解等级:高级 普通读书笔记卡

04 第4章 集群资源管理与调度

15 张卡片
  1. 静态切分浪费 理解等级:中级 普通读书笔记卡
  2. 调度约束集合 理解等级:中级 普通读书笔记卡
  3. 三类调度范型 理解等级:高级 普通读书笔记卡
  4. 延迟调度价值 理解等级:中级 普通读书笔记卡
  5. DRF公平尺度 理解等级:中级 普通读书笔记卡
  6. 资源队列连接任务队列 理解等级:中级 结构图卡
  7. 局部性与等待联合取舍 理解等级:高级 普通读书笔记卡
  8. 抢占回收有执行成本 理解等级:高级 普通读书笔记卡
  9. 资源储备可能形成死锁 理解等级:高级 普通读书笔记卡
  10. 隔离不等于调度公平 理解等级:高级 普通读书笔记卡
  11. 共享状态冲突需重试 理解等级:高级 普通读书笔记卡
  12. 调度公平先选保障对象 理解等级:高级 普通读书笔记卡
  13. 主分享量指导下一次分配 理解等级:高级 操作参考卡
  14. 资源供应下放安置决策 理解等级:中级 普通读书笔记卡
  15. 作业主控分离全局资源 理解等级:中级 结构图卡

05 第5章 分布式协调系统

17 张卡片
  1. 协调系统定位 理解等级:中级 普通读书笔记卡
  2. 粗粒度锁服务 理解等级:中级 普通读书笔记卡
  3. 会话租约语义 理解等级:高级 普通读书笔记卡
  4. Watch通知边界 理解等级:中级 普通读书笔记卡
  5. 缓存失效先于数据修改 理解等级:高级 普通读书笔记卡
  6. 恢复存储避免循环依赖 理解等级:中级 普通读书笔记卡
  7. 就近读不等于全局新鲜 理解等级:高级 普通读书笔记卡
  8. 节点属性区分生命周期 理解等级:高级 普通读书笔记卡
  9. 版本条件保护节点更新 理解等级:中级 操作参考卡
  10. 临时选主仍需防旧主 理解等级:高级 操作参考卡
  11. 配置监听循环重读 理解等级:高级 操作参考卡
  12. 成员目录表达会话存活 理解等级:高级 操作参考卡
  13. 任务目录不是恰好一次 理解等级:高级 操作参考卡
  14. 锁等待最近的前驱 理解等级:中级 操作参考卡
  15. 读锁等待更早写者 理解等级:高级 操作参考卡
  16. 双向路障需稳定轮次 理解等级:高级 操作参考卡
  17. 快照回放依赖事务标识 理解等级:高级 普通读书笔记卡

06 第6章 分布式通信

20 张卡片
  1. RPC隐藏调用细节不隐藏故障 理解等级:中级 普通读书笔记卡
  2. IDL建立双方共同的数据契约 理解等级:中级 普通读书笔记卡
  3. Thrift从定义生成代码 理解等级:中级 操作参考卡
  4. Protobuf结构化编码 理解等级:中级 延伸参考卡
  5. 通讯录消息区分嵌套与重复字段 理解等级:中级 结构图卡
  6. Avro配合模式与编码 理解等级:中级 延伸参考卡
  7. 递归Schema表达可终止链表 理解等级:中级 结构图卡
  8. 异步队列分离时间依赖 理解等级:中级 普通读书笔记卡
  9. 消息产品比较先分清职责 理解等级:中级 延伸参考卡
  10. Kafka用分区日志承载消息 理解等级:中级 延伸参考卡
  11. 分区提供局部顺序与并行 理解等级:中级 普通读书笔记卡
  12. Offset与分段索引支持定位 理解等级:中级 普通读书笔记卡
  13. Broker仍维护日志状态 理解等级:中级 普通读书笔记卡
  14. ISR与确认决定耐久性 理解等级:中级 普通读书笔记卡
  15. 顺序追加与批量化减少随机开销 理解等级:中级 普通读书笔记卡
  16. sendfile减少用户态往返 理解等级:中级 普通读书笔记卡
  17. Gossip以局部交换扩散状态 理解等级:中级 普通读书笔记卡
  18. 反熵交换需要识别版本差异 理解等级:中级 普通读书笔记卡
  19. 谣言停止降低流量也留下遗漏风险 理解等级:中级 普通读书笔记卡
  20. 摘要握手减少状态同步数据量 理解等级:中级 结构图卡

07 第7章 数据通道

12 张卡片
  1. 日志收集目标要匹配分析时效 理解等级:中级 普通读书笔记卡
  2. Chukwa分开收集与批处理 理解等级:中级 结构图卡
  3. 小批数据不宜重复承担作业开销 理解等级:中级 普通读书笔记卡
  4. Scribe分类汇聚日志 理解等级:中级 延伸参考卡
  5. 数据总线传播变化而非重复全量 理解等级:中级 普通读书笔记卡
  6. 独立双写存在中间失败窗口 理解等级:中级 普通读书笔记卡
  7. 日志捕获从已提交变化建立通道 理解等级:中级 普通读书笔记卡
  8. Databus保留近期变化 理解等级:中级 延伸参考卡
  9. 快照加增量支持落后消费者追赶 理解等级:中级 普通读书笔记卡
  10. 快照与增量日志分工 理解等级:中级 普通读书笔记卡
  11. Wormhole路由提交变化 理解等级:中级 延伸参考卡
  12. Sqoop解决异构系统批量迁移 理解等级:中级 延伸参考卡

08 分布式文件系统

6 张卡片
  1. 按负载设计FS 理解等级:未标注 普通读书笔记卡
  2. 主控元数据瓶颈 理解等级:未标注 普通读书笔记卡
  3. Blob元数据进内存 理解等级:未标注 普通读书笔记卡
  4. 列式布局省IO 理解等级:未标注 普通读书笔记卡
  5. 混合布局折中 理解等级:未标注 普通读书笔记卡
  6. 纠删码冷数据 理解等级:未标注 普通读书笔记卡

08 第8章 分布式文件系统

34 张卡片
  1. 定位元数据后直读块 理解等级:中级 普通读书笔记卡
  2. 元数据日志与位置重建 理解等级:中级 普通读书笔记卡
  3. 影子主控主要承担读取 理解等级:中级 普通读书笔记卡
  4. 先传数据再统一写序 理解等级:中级 普通读书笔记卡
  5. 原子追加仍可能重复 理解等级:高级 普通读书笔记卡
  6. 主控分片突破元数据上限 理解等级:中级 普通读书笔记卡
  7. 大块文件系统面向吞吐 理解等级:中级 普通读书笔记卡
  8. 检查点节点不是热备 理解等级:中级 普通读书笔记卡
  9. 热备同步两类管理信息 理解等级:中级 普通读书笔记卡
  10. 故障切换与状态同步分开 理解等级:中级 普通读书笔记卡
  11. QJM需要多数日志节点 理解等级:高级 普通读书笔记卡
  12. 日志隔离不覆盖全部旧主 理解等级:中级 普通读书笔记卡
  13. 联盟按命名空间分治 理解等级:中级 普通读书笔记卡
  14. 逻辑卷映射多个物理卷 理解等级:中级 普通读书笔记卡
  15. 热图缓存与长尾回源分工 理解等级:中级 普通读书笔记卡
  16. 目录管理卷与写入负载 理解等级:中级 普通读书笔记卡
  17. 紧凑索引加速卷恢复 理解等级:高级 普通读书笔记卡
  18. 对象更新用追加与回收 理解等级:中级 普通读书笔记卡
  19. 列族聚合常用字段 理解等级:中级 普通读书笔记卡
  20. 嵌套文档的模式树 理解等级:中级 结构图卡
  21. 重复层标记列表边界 理解等级:中级 普通读书笔记卡
  22. 定义层区分缺失位置 理解等级:中级 普通读书笔记卡
  23. 按层级重建嵌套记录 理解等级:中级 普通读书笔记卡
  24. 行组内按列组织RCFile 理解等级:中级 普通读书笔记卡
  25. 条带索引跳过无关数据 理解等级:中级 普通读书笔记卡
  26. Parquet分层定位列页 理解等级:中级 普通读书笔记卡
  27. 编码字长决定有限域 理解等级:中级 普通读书笔记卡
  28. 用对数表做有限域乘除 理解等级:中级 操作参考卡
  29. 任意恢复依赖MDS矩阵 理解等级:高级 普通读书笔记卡
  30. 按幸存行求解丢失块 理解等级:中级 操作参考卡
  31. 保持恢复示例输入一致 理解等级:高级 操作参考卡
  32. 局部恢复用额外冗余换IO 理解等级:高级 普通读书笔记卡
  33. LRC不能按校验数估容错 理解等级:中级 普通读书笔记卡
  34. 历史RAID后台编码与修复 理解等级:中级 普通读书笔记卡

09 内存KV数据库

3 张卡片
  1. 内存库成本悖论 理解等级:未标注 普通读书笔记卡
  2. RAMCloud恢复 理解等级:未标注 普通读书笔记卡
  3. Redis主从边界 理解等级:未标注 普通读书笔记卡

09 第9章 内存KV数据库

8 张卡片
  1. 路由缓存定位内存主数据 理解等级:中级 普通读书笔记卡
  2. 内存日志配合哈希索引 理解等级:中级 普通读书笔记卡
  3. 散布备份实现并行恢复 理解等级:高级 普通读书笔记卡
  4. 恢复期间磁盘服务是提议 理解等级:高级 普通读书笔记卡
  5. 部分复制受保留窗口约束 理解等级:中级 操作参考卡
  6. VIP迁移不等于数据接管 理解等级:中级 普通读书笔记卡
  7. 节点对等与分片主从并存 理解等级:中级 普通读书笔记卡
  8. 副本同步语义必须显式选择 理解等级:高级 普通读书笔记卡

10 列式数据库

4 张卡片
  1. BigTable三维表 理解等级:未标注 普通读书笔记卡
  2. 三级定位元数据 理解等级:未标注 普通读书笔记卡
  3. Tablet写路径 理解等级:未标注 普通读书笔记卡
  4. PNUTS时间轴 理解等级:未标注 普通读书笔记卡

10 第10章 列式数据库

20 张卡片
  1. 实体组事务 理解等级:高级 普通读书笔记卡
  2. TrueTime换顺序 理解等级:高级 普通读书笔记卡
  3. 宽列模型仍有模式约束 理解等级:中级 普通读书笔记卡
  4. 行键范围决定Tablet边界 理解等级:中级 普通读书笔记卡
  5. 主控重建分配状态 理解等级:中级 普通读书笔记卡
  6. 块索引定位SSTable数据 理解等级:中级 普通读书笔记卡
  7. 多级合并清理旧版本 理解等级:中级 普通读书笔记卡
  8. 日志恢复衔接已刷盘数据 理解等级:高级 普通读书笔记卡
  9. PNUTS可选范围或哈希表 理解等级:中级 普通读书笔记卡
  10. 路由缓存服从权威映射 理解等级:中级 普通读书笔记卡
  11. 记录主副本发布有序更新 理解等级:中级 普通读书笔记卡
  12. 按版本需求选择读取 理解等级:中级 操作参考卡
  13. 实体组聚合共同更新的数据 理解等级:中级 普通读书笔记卡
  14. 父子主键支持数据聚簇 理解等级:中级 普通读书笔记卡
  15. 共识副本也有读取协议 理解等级:中级 普通读书笔记卡
  16. 区域层次与数据放置分工 理解等级:中级 普通读书笔记卡
  17. 复制事务与并发各有层次 理解等级:高级 普通读书笔记卡
  18. 目录是放置与迁移单元 理解等级:中级 普通读书笔记卡
  19. 用有界时间判断先后 理解等级:中级 操作参考卡
  20. 异源时钟约束共同误差 理解等级:中级 普通读书笔记卡

11 大规模批处理系统

4 张卡片
  1. MapReduce边界 理解等级:未标注 普通读书笔记卡
  2. Shuffle是成本中心 理解等级:未标注 普通读书笔记卡
  3. 模式复用MR 理解等级:未标注 普通读书笔记卡
  4. DAG突破两阶段 理解等级:未标注 普通读书笔记卡

11 第11章 大规模批处理系统

19 张卡片
  1. 按业务键形成聚合组 理解等级:中级 普通读书笔记卡
  2. 反转链接构建倒排关系 理解等级:中级 操作参考卡
  3. 分区文件衔接归约 理解等级:中级 普通读书笔记卡
  4. 抓取可与Map执行重叠 理解等级:中级 普通读书笔记卡
  5. Combiner须允许重复调用 理解等级:中级 普通读书笔记卡
  6. 本地中间结果丢失需重算 理解等级:中级 普通读书笔记卡
  7. 用可合并统计量求平均 理解等级:中级 操作参考卡
  8. 纯过滤可省归约阶段 理解等级:中级 操作参考卡
  9. 两阶段合并局部TopK 理解等级:中级 操作参考卡
  10. 用分区输出重组数据 理解等级:中级 操作参考卡
  11. 范围分区形成全局排序 理解等级:中级 操作参考卡
  12. Reduce侧按连接键汇合 理解等级:中级 操作参考卡
  13. 小表驻内存做Map连接 理解等级:中级 操作参考卡
  14. Map连接的初始化与处理 理解等级:中级 结构图卡
  15. DAG执行层衔接表达与机器 理解等级:中级 普通读书笔记卡
  16. Dryad控制面不搬运数据 理解等级:中级 普通读书笔记卡
  17. 图运算区分点连与全连接 理解等级:中级 普通读书笔记卡
  18. 输入就绪再调度图节点 理解等级:中级 普通读书笔记卡
  19. DAG优化减少多作业落盘 理解等级:中级 普通读书笔记卡

12 流式计算

2 张卡片
  1. 流式常驻计算 理解等级:未标注 普通读书笔记卡
  2. 拓扑即数据流 理解等级:未标注 普通读书笔记卡

12 第12章 流式计算

24 张卡片
  1. 消息语义分层 理解等级:高级 普通读书笔记卡
  2. 微批模拟流式 理解等级:高级 普通读书笔记卡
  3. 窗口查询与数据流平台有别 理解等级:中级 普通读书笔记卡
  4. 控制状态恢复不等于业务状态 理解等级:高级 普通读书笔记卡
  5. S4对等节点仍依赖协调 理解等级:中级 普通读书笔记卡
  6. Samza分开消息与资源管理 理解等级:中级 普通读书笔记卡
  7. 计算回调与持久状态接口 理解等级:中级 结构图卡
  8. 键与时间是数据流语义 理解等级:高级 普通读书笔记卡
  9. 按状态访问选择分组 理解等级:中级 操作参考卡
  10. 显式配置拓扑并行度 理解等级:中级 操作参考卡
  11. 点击计费怕漏算与重算 理解等级:高级 支付系统案例卡
  12. 点击计数需原子去重 理解等级:高级 支付系统案例卡
  13. ACK与锚定追踪处理树 理解等级:中级 普通读书笔记卡
  14. 异或校验压缩待完成集合 理解等级:中级 普通读书笔记卡
  15. 提交成功后ACK丢失会重放 理解等级:中级 普通读书笔记卡
  16. 输入去重与输出须一起提交 理解等级:中级 普通读书笔记卡
  17. 布隆阳性仍需查持久记录 理解等级:中级 普通读书笔记卡
  18. 备用进程不自动恢复状态 理解等级:高级 普通读书笔记卡
  19. 双路热备需要确定性与去重 理解等级:中级 普通读书笔记卡
  20. 检查点须对齐可重放输入 理解等级:中级 普通读书笔记卡
  21. 批次ID与状态原子持久化 理解等级:高级 普通读书笔记卡
  22. 流水执行与有序提交可并存 理解等级:中级 普通读书笔记卡
  23. 弱持久方式保留确认链 理解等级:中级 普通读书笔记卡
  24. 本地状态配合变更日志恢复 理解等级:高级 普通读书笔记卡

13 第13章 交互式数据分析

36 张卡片
  1. Hive以SQL换MR 理解等级:中级 普通读书笔记卡
  2. 内存DAG提速 理解等级:中级 普通读书笔记卡
  3. Dremel树形聚合 理解等级:中级 结构图卡
  4. MPP交互查询 理解等级:中级 普通读书笔记卡
  5. 模式元数据连接文件与表 理解等级:中级 普通读书笔记卡
  6. 分区裁剪减少扫描目录 理解等级:中级 普通读书笔记卡
  7. 分桶按键分散文件 理解等级:中级 普通读书笔记卡
  8. 序列化接口扩展数据格式 理解等级:中级 普通读书笔记卡
  9. 查询编译分逻辑与物理 理解等级:中级 结构图卡
  10. 过滤尽量靠近数据扫描 理解等级:中级 普通读书笔记卡
  11. 重分布连接对齐相同键 理解等级:中级 普通读书笔记卡
  12. MR落盘换取恢复边界 理解等级:高级 普通读书笔记卡
  13. 短查询容易被启动开销主导 理解等级:中级 普通读书笔记卡
  14. 性能倍数必须附测试条件 理解等级:高级 普通读书笔记卡
  15. Stinger从多层改进查询 理解等级:中级 普通读书笔记卡
  16. 向量执行分批摊薄开销 理解等级:中级 普通读书笔记卡
  17. 动态计划利用运行统计 理解等级:中级 普通读书笔记卡
  18. 并行度需要平衡粒度 理解等级:中级 普通读书笔记卡
  19. 共同分片提前支付布局成本 理解等级:中级 普通读书笔记卡
  20. 服务树层数平衡聚合与通信 理解等级:中级 普通读书笔记卡
  21. 计数先局部再求和 理解等级:中级 普通读书笔记卡
  22. 槽位让线程分批处理子表 理解等级:中级 普通读书笔记卡
  23. 推测执行处理少量拖尾任务 理解等级:中级 普通读书笔记卡
  24. 嵌套查询保留记录内层次 理解等级:中级 普通读书笔记卡
  25. 定制数据仓库优化交互 理解等级:中级 普通读书笔记卡
  26. 复合范围分片依赖查询知识 理解等级:中级 普通读书笔记卡
  27. 双字典编码缩小局部编号 理解等级:中级 结构图卡
  28. 局部计数按全局身份合并 理解等级:中级 普通读书笔记卡
  29. Impala执行协调与工作分离 理解等级:中级 普通读书笔记卡
  30. 成员健康信息辅助调度 理解等级:中级 普通读书笔记卡
  31. 计划片段按交换边界并行 理解等级:中级 结构图卡
  32. Presto用连接接口解耦存储 理解等级:中级 普通读书笔记卡
  33. 混合数仓复用两层能力 理解等级:中级 普通读书笔记卡
  34. 数据加载决定后续局部性 理解等级:中级 普通读书笔记卡
  35. 算子下推须保留全局语义 理解等级:中级 普通读书笔记卡
  36. 系统能力结论需标明年代 理解等级:高级 普通读书笔记卡

14 第14章 图数据库:架构与算法

44 张卡片
  1. 图数据强耦合 理解等级:中级 普通读书笔记卡
  2. 切边切点权衡 理解等级:高级 普通读书笔记卡
  3. 节点中心编程 理解等级:中级 普通读书笔记卡
  4. BSP超级步 理解等级:中级 结构图卡
  5. GAS拆开节点 理解等级:中级 结构图卡
  6. 同步异步取舍 理解等级:高级 普通读书笔记卡
  7. 邻接表适合遍历稀疏关系 理解等级:中级 普通读书笔记卡
  8. 在线查询与离线挖掘目标不同 理解等级:中级 普通读书笔记卡
  9. 图语义可映射到关系存储 理解等级:中级 普通读书笔记卡
  10. 实体关系建模保留方向与类型 理解等级:中级 普通读书笔记卡
  11. 区域副本平衡内存成本与延迟 理解等级:中级 普通读书笔记卡
  12. 两级缓存分担读取负载 理解等级:中级 普通读书笔记卡
  13. 本地读与主区域写分别优化 理解等级:中级 普通读书笔记卡
  14. 写穿缓存的保证有范围 理解等级:高级 普通读书笔记卡
  15. PageRank累积邻居重要性 理解等级:中级 普通读书笔记卡
  16. 最短路沿有向边松弛 理解等级:中级 结构图卡
  17. 匹配约束区别最大与极大 理解等级:高级 普通读书笔记卡
  18. 图分片优化看全流程成本 理解等级:高级 普通读书笔记卡
  19. 切边优化同时约束负载 理解等级:中级 普通读书笔记卡
  20. 随机顶点分片的切边期望 理解等级:高级 普通读书笔记卡
  21. 切点以副本同步换边均衡 理解等级:中级 普通读书笔记卡
  22. 随机边分片的副本期望 理解等级:高级 普通读书笔记卡
  23. 二维哈希限制副本分散 理解等级:高级 普通读书笔记卡
  24. 图编程模型与执行范型分开 理解等级:中级 普通读书笔记卡
  25. MR用按键聚集模拟图消息 理解等级:中级 普通读书笔记卡
  26. 迭代图计算避免重复搬运状态 理解等级:中级 普通读书笔记卡
  27. 异步作用域限定冲突范围 理解等级:高级 普通读书笔记卡
  28. 顺序等价依赖访问约束 理解等级:高级 普通读书笔记卡
  29. 停用顶点仍可被消息激活 理解等级:中级 普通读书笔记卡
  30. 主控调度与工作节点分工 理解等级:中级 普通读书笔记卡
  31. 检查点频率平衡正常与故障成本 理解等级:中级 普通读书笔记卡
  32. 示例算法不等于可运行实现 理解等级:高级 普通读书笔记卡
  33. 随机握手匹配只证到极大 理解等级:高级 普通读书笔记卡
  34. 主控接管还要恢复管理状态 理解等级:中级 普通读书笔记卡
  35. 长驻Map任务承载多轮图计算 理解等级:中级 普通读书笔记卡
  36. 图分片按目标切源点排序 理解等级:中级 结构图卡
  37. 滑动窗口把随机访问组织成顺序 理解等级:中级 普通读书笔记卡
  38. 共享边限制子图更新并行 理解等级:中级 普通读书笔记卡
  39. 双缓冲改变状态可见时点 理解等级:中级 普通读书笔记卡
  40. 连通分量传播最小标签 理解等级:中级 普通读书笔记卡
  41. 镜像收集主副本统一应用 理解等级:中级 普通读书笔记卡
  42. 增量缓存复用收集结果 理解等级:高级 普通读书笔记卡
  43. 变化阈值决定激活范围 理解等级:中级 普通读书笔记卡
  44. 微同步将GAS组合为超级步 理解等级:中级 普通读书笔记卡

15 第15章 机器学习:范型与架构

33 张卡片
  1. 分布式ML瓶颈 理解等级:中级 普通读书笔记卡
  2. 三种同步范型 理解等级:中级 普通读书笔记卡
  3. 数据模型并行 理解等级:中级 普通读书笔记卡
  4. 参数服务器 理解等级:中级 普通读书笔记卡
  5. RDD支撑迭代 理解等级:中级 普通读书笔记卡
  6. 监督学习要验证泛化 理解等级:中级 普通读书笔记卡
  7. 损失函数编码误差 理解等级:中级 普通读书笔记卡
  8. 正则化约束模型复杂度 理解等级:中级 普通读书笔记卡
  9. 聚类依赖相似性定义 理解等级:中级 普通读书笔记卡
  10. 异步消除逐轮屏障 理解等级:中级 普通读书笔记卡
  11. MR迭代显式传递模型 理解等级:中级 普通读书笔记卡
  12. 并行聚类要按样本加权 理解等级:中级 普通读书笔记卡
  13. 训练服务可以分别部署 理解等级:中级 普通读书笔记卡
  14. BSP超级步分三阶段 理解等级:中级 普通读书笔记卡
  15. BSP代价取决于最慢者 理解等级:中级 普通读书笔记卡
  16. 超级步边界适合检查点 理解等级:中级 普通读书笔记卡
  17. SSP规定更新可见下界 理解等级:中级 普通读书笔记卡
  18. SSP以等待限制进度差 理解等级:中级 普通读书笔记卡
  19. 陈旧度界不自动保收敛 理解等级:中级 普通读书笔记卡
  20. 迭代缓存需稳定数据位置 理解等级:中级 普通读书笔记卡
  21. Twister用消息网络传结果 理解等级:中级 普通读书笔记卡
  22. RDD转换创建新数据集 理解等级:中级 普通读书笔记卡
  23. Action触发延迟计算 理解等级:中级 普通读书笔记卡
  24. 缓存声明不等于立刻装载 理解等级:中级 普通读书笔记卡
  25. 血缘重算只恢复所需分区 理解等级:中级 普通读书笔记卡
  26. 窄依赖看父分区去向 理解等级:中级 普通读书笔记卡
  27. Shuffle划分执行阶段 理解等级:中级 普通读书笔记卡
  28. MLBase搜索学习执行计划 理解等级:中级 普通读书笔记卡
  29. 参数表缓存需一致性规则 理解等级:中级 普通读书笔记卡
  30. 值界VAP限制未传播增量 理解等级:中级 普通读书笔记卡
  31. SSPTable分离增量与推进 理解等级:中级 普通读书笔记卡
  32. 参数读取逐层检查新鲜度 理解等级:中级 普通读书笔记卡
  33. 缓存让快慢线程区别访问 理解等级:中级 普通读书笔记卡

16 机器学习:分布式算法

3 张卡片
  1. CTR稀疏学习 理解等级:未标注 普通读书笔记卡
  2. 矩阵分解并行 理解等级:未标注 普通读书笔记卡
  3. 倒排算相似 理解等级:未标注 普通读书笔记卡

16 第16章 机器学习:分布式算法

1 张卡片
  1. 学习排序并行 理解等级:高级 普通读书笔记卡

16 机器学习:分布式算法

1 张卡片
  1. 深度模型并行 理解等级:未标注 普通读书笔记卡

16 第16章 机器学习:分布式算法

30 张卡片
  1. eCPM排序须明确计量单位 理解等级:中级 普通读书笔记卡
  2. 逻辑回归把特征映为概率 理解等级:中级 普通读书笔记卡
  3. L1目标不能直接套光滑梯度 理解等级:高级 普通读书笔记卡
  4. 优化方向与曲率成本有关 理解等级:高级 普通读书笔记卡
  5. 限量历史替代完整海森矩阵 理解等级:中级 普通读书笔记卡
  6. 按更新粒度选择训练方式 理解等级:中级 操作参考卡
  7. 独立SGD副本末尾求均值 理解等级:高级 操作参考卡
  8. 二维切分同时分样本与特征 理解等级:中级 普通读书笔记卡
  9. 先归并内积再分列梯度 理解等级:高级 操作参考卡
  10. 低维因子拟合稀疏评分 理解等级:中级 普通读书笔记卡
  11. 评分次数加权正则惩罚 理解等级:中级 普通读书笔记卡
  12. 交替解用户与商品子问题 理解等级:中级 操作参考卡
  13. 排序训练单位有三种 理解等级:中级 普通读书笔记卡
  14. 召回候选后再学习重排 理解等级:中级 操作参考卡
  15. Lambda梯度需保留方向 理解等级:高级 普通读书笔记卡
  16. 提升树逐轮拟合排名梯度 理解等级:高级 普通读书笔记卡
  17. 文档内积不自动等于余弦 理解等级:中级 普通读书笔记卡
  18. 两次MR累加共词贡献 理解等级:中级 操作参考卡
  19. 高频词剪枝须评估精度 理解等级:中级 操作参考卡
  20. 社交图对称化决定相似关系 理解等级:中级 普通读书笔记卡
  21. 拉普拉斯半正定不等于逐项非负 理解等级:高级 普通读书笔记卡
  22. 特征向量嵌入后按行聚类 理解等级:中级 操作参考卡
  23. 稀疏近邻图改变谱计算对象 理解等级:中级 普通读书笔记卡
  24. 按阶段混合MR与MPI 理解等级:中级 操作参考卡
  25. 无监督预训练是历史训练路线 理解等级:中级 普通读书笔记卡
  26. 分别控制拉参数与推梯度周期 理解等级:高级 操作参考卡
  27. 全量梯度齐备后推进批优化 理解等级:高级 普通读书笔记卡
  28. 参数分片执行向量操作 理解等级:高级 普通读书笔记卡
  29. 细粒度数据调度减轻拖尾 理解等级:中级 操作参考卡
  30. 副本计算与参数操作分工 理解等级:高级 结构图卡

17 增量计算

3 张卡片
  1. 增量计算目标 理解等级:未标注 普通读书笔记卡
  2. 变化传播模式 理解等级:未标注 普通读书笔记卡
  3. 结果缓存复用 理解等级:未标注 普通读书笔记卡

17 第17章 增量计算

17 张卡片
  1. Percolator机制 理解等级:高级 普通读书笔记卡
  2. Map复用依赖逻辑稳定 理解等级:中级 普通读书笔记卡
  3. 输入切分显式区分新旧数据 理解等级:中级 操作参考卡
  4. 省计算不等于按比例缩短延迟 理解等级:中级 普通读书笔记卡
  5. 局部增量与全局批算互补 理解等级:中级 普通读书笔记卡
  6. 快照隔离只排除部分并发异常 理解等级:高级 普通读书笔记卡
  7. 两步转账中断会破坏总额 理解等级:高级 支付系统案例卡
  8. 主记录提交保护转账原子性 理解等级:高级 支付系统案例卡
  9. 版本值与提交记录分开存储 理解等级:中级 普通读书笔记卡
  10. 残锁清理先查询主提交状态 理解等级:高级 普通读书笔记卡
  11. 按快照查提交版本与冲突锁 理解等级:中级 操作参考卡
  12. 观察通知驱动后续局部更新 理解等级:中级 普通读书笔记卡
  13. 多次列更新可能合并通知 理解等级:中级 普通读书笔记卡
  14. 图更新与快照计算分离 理解等级:中级 普通读书笔记卡
  15. 进度向量给快照确定边界 理解等级:中级 普通读书笔记卡
  16. 变化阈值控制图上传播范围 理解等级:中级 普通读书笔记卡
  17. 结果指纹不替代复用条件 理解等级:中级 普通读书笔记卡

18

3 张卡片
  1. 拓扑层次影响数据访问成本 理解等级:中级 普通读书笔记卡
  2. 比较存储层次先统一指标 理解等级:中级 普通读书笔记卡
  3. 历史延迟表用于数量级估算 理解等级:中级 操作参考卡

19

2 张卡片
  1. 并行机器学习文集提供比较路线 理解等级:中级 延伸参考卡
  2. Cassandra融合多层设计 理解等级:中级 延伸参考卡

全书概览

《大数据日知录_架构与算法》读书笔记总览

整体评级:信息浓度高,稳定性高,经典原理。全书以问题、机制和权衡串联分布式系统、存储及并行分析,适合建立整体技术地图;2014年产品能力、硬件数量级、性能排名和生态预测保留历史范围,代码与数学示例中的错误不照录为保证。

执行模式:light

建档进度:done

本次实际规则:book-notes v23 / book-workflow v4;历史仅预检和逐候选暂停由当前完整流程授权覆盖,不将历史已读当本轮全文完成。

原书身份:张俊林著,电子工业出版社,2014年9月第1版,ISBN9787121241536;当前EPUB版权页与封面已实际核对。

原文来源:books/架构归档3/大数据日知录_架构与算法.epub;SHA-256 e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d;当前426 ZIP成员逐一匹配,26spine本轮完整阅读。

整书笔记:_book_note.md(schema 1;SHA-256 d68e8e2118a6fe7160fc88ad2558983ad688dd6d194db48f30f5e86d102bff47)。

章节进度追踪表

章节号 章节标题 状态(pending/done) 卡片数
前置2 内容简介 done 0
前置4 前言 done 0
0 第0章 大数据概述 done 10
1 第1章 数据分片与路由 done 9
2 第2章 数据复制与一致性 done 27
3 第3章 大数据常用的算法与数据结构 done 17
4 第4章 集群资源管理与调度 done 15
5 第5章 分布式协调系统 done 17
6 第6章 分布式通信 done 20
7 第7章 数据通道 done 12
8 第8章 分布式文件系统 done 40
9 第9章 内存KV数据库 done 11
10 第10章 列式数据库 done 24
11 第11章 大规模批处理系统 done 23
12 第12章 流式计算 done 26
13 第13章 交互式数据分析 done 36
14 第14章 图数据库:架构与算法 done 44
15 第15章 机器学习:范型与架构 done 33
16 第16章 机器学习:分布式算法 done 35
17 第17章 增量计算 done 20
附A 附录A 分布式系统常用硬件性能指标 done 3
附B 附录B 延伸阅读 done 2

附录文件编号:卡片文件ch18/ch19分别对应原书附录A/附录B,仅为兼容文件编号;原书正文仍为第0–17章。

非正文排除

spine项 类型 排除理由
0 / OEBPS/cover1.html 封面 封面、重复扉页或目录导航,已完整读取;身份信息纳入概览,不作为独立技术正文
1 / OEBPS/text00000.html 扉页 封面、重复扉页或目录导航,已完整读取;身份信息纳入概览,不作为独立技术正文
3 / OEBPS/text00002.html 版权信息 版权与出版书目信息已完整读取并用于概览身份核对,不是独立技术正文
5 / OEBPS/text00004.html 目录 封面、重复扉页或目录导航,已完整读取;身份信息纳入概览,不作为独立技术正文

待关联术语

术语名 出现章节 一句话语境
Oracle 0 关系数据库历史背景提名
Cloudera 0 Hadoop生态企业背景,未独立解释实现
MapR 0 生态公司提名
HortonWorks 0 生态公司提名
Dropbox 0 商业应用用途示例,未展开文件同步技术;见第0章整书笔记
Flume 7 日志系统提名,未独立展开机制
Zillabyte 0 企业分析工具商业例子,未展开算法实现
Decide.com 0 消费价格趋势分析的商业例子,未给模型与验证数据
Accrual Failure Detectors 附B Cassandra点评仅提名此故障检测方法,未展开算法,不补造实现
Cassandra 01 ey-value,键值)存储系统都支持这种方式,其中包括Dynamo、Cassandra、Riak、Voldmort、Membase等。相对应地,范围分片的系统则既可以支持点查询也可以支持范围查询,采取范围分片的系统包括Goog;仅系统提名或应用例,不据此另造机制卡。
Riak 01 值)存储系统都支持这种方式,其中包括Dynamo、Cassandra、Riak、Voldmort、Membase等。相对应地,范围分片的系统则既可以支持点查询也可以支持范围查询,采取范围分片的系统包括Google的Bi;仅系统提名或应用例,不据此另造机制卡。
Voldmort 01 统都支持这种方式,其中包括Dynamo、Cassandra、Riak、Voldmort、Membase等。相对应地,范围分片的系统则既可以支持点查询也可以支持范围查询,采取范围分片的系统包括Google的BigTable和微软;仅系统提名或应用例,不据此另造机制卡。
Membase 01 其中包括Dynamo、Cassandra、Riak、Voldmort、Membase等。相对应地,范围分片的系统则既可以支持点查询也可以支持范围查询,采取范围分片的系统包括Google的BigTable和微软的Azure等系;仅系统提名或应用例,不据此另造机制卡。
PNUTS 01 和微软的Azure等系统,但也有系统同时提供两种方式,比如Yahoo的PNUTS系统。 1.2 哈希分片(Hash Partition) 通过哈希函数来进行数据分片是常见手段,其中最常见的3种哈希分片方式分别是:Roun;仅系统提名或应用例,不据此另造机制卡。
BigTable 01 可以支持点查询也可以支持范围查询,采取范围分片的系统包括Google的BigTable和微软的Azure等系统,但也有系统同时提供两种方式,比如Yahoo的PNUTS系统。 1.2 哈希分片(Hash Partition) 通;仅系统提名或应用例,不据此另造机制卡。
Azure 01 范围查询,采取范围分片的系统包括Google的BigTable和微软的Azure等系统,但也有系统同时提供两种方式,比如Yahoo的PNUTS系统。 1.2 哈希分片(Hash Partition) 通过哈希函数来进行数;仅系统提名或应用例,不据此另造机制卡。
MegaStore 02 则,这样就可以吸取两者各自的好处,在两者之间建立平衡,从Google的MegaStore便可以看出这种发展趋势。 2.1.5 CAP/ACID/BASE三者的关系 ACID和BASE原则是在明确提出CAP理论之前关于如何对待可用;仅系统提名或应用例,不据此另造机制卡。
Kafka 02 数据,然后即可确认更新操作完成,其他副本通过异步方式获得更新,消息系统Kafka在维护数据副本一致性时即采取此种混合方式。在这种情形下,请求延时和一致性之间的权衡也是取决于以下两种读操作的响应方式。 1.如果读操作的数据;仅系统提名或应用例,不据此另造机制卡。
Riak 02 类型B类似的问题。 在实际的系统中,Dynamo/Cassandra/Riak同时采取了“主从式更新”的类型C以及“任意节点更新”策略。在正常情况下,“主从式更新”的类型C起作用,当主副本发生故障的情况下,则启用了“任;仅系统提名或应用例,不据此另造机制卡。
Cassandra 02 “主从式更新”策略的类型B类似的问题。 在实际的系统中,Dynamo/Cassandra/Riak同时采取了“主从式更新”的类型C以及“任意节点更新”策略。在正常情况下,“主从式更新”的类型C起作用,当主副本发生故障的情况下,则;仅系统提名或应用例,不据此另造机制卡。
Viewstamped Replication 02 Barbara Liskov and James Cowling. Viewstamped Replication Revisited. MIT technical report MIT-CSAIL-TR-2012-021,2012. [14] Flav;仅系统提名或应用例,不据此另造机制卡。
Zab 02 amin C. Reed and USAMarco Serafin. Zab: High-performance broadcast for primary-backup systems. 2011 IEEE/IFI;仅系统提名或应用例,不据此另造机制卡。
Generalized Consensus 02 001) 51-58. 2001. [10] L. Lamport, Generalized Consensus and Paxos, tech. report MSR-TR-2005-33, Microsoft Research, 2005; ftp;仅系统提名或应用例,不据此另造机制卡。
Fast Paxos 02 33.pdf. 2005. [11] Leslie Lamport. Fast Paxos. Distributed Computing 19, 2 (October 2006) 79-103.2006. [12] Paxos. ;仅系统提名或应用例,不据此另造机制卡。
Chrome 03 广泛的使用,尤其是数据量极大且容忍一定误判率的场合。比如Google Chrome浏览器使用它进行恶意URL的判断;网络爬虫使用它对已经爬取过的URL进行判断;缓存使用BF来对海量数据进行查找;比特币使用BF对历史交易进行;仅系统提名或应用例,不据此另造机制卡。
MillWheel 03 andra在实现时也采取了类似思路。 此外,Google的流式计算系统MillWheel在保证数据记录“恰好送达一次”语义时对重复记录的检测也采用了类似BigTable的BF用法。除此之外,还有很多类似的应用场景,此处不再赘述。;仅系统提名或应用例,不据此另造机制卡。
RAMCloud 03 M树,基于Flash的海量存储系统SILT也采用了LSM树,内存数据库RAMCloud同样采用了这个数据结构。除此之外还有很多系统都采用LSM树,比如Cassandra、LevelDB等。 下面以LevelDB的LSM树结构来;仅系统提名或应用例,不据此另造机制卡。
Lucene 03 s在实现Sorted Set数据结构时采用的也是SkipList,再如Lucene中也使用SkipList来对倒排列表进行快速查找。因这三者实现思路基本遵循经典SkipList的实现方式,所以本节不另行介绍其技术细节。 我;仅系统提名或应用例,不据此另造机制卡。
SILT 03 e中的单机数据存储引擎本质上就是LSM树,基于Flash的海量存储系统SILT也采用了LSM树,内存数据库RAMCloud同样采用了这个数据结构。除此之外还有很多系统都采用LSM树,比如Cassandra、LevelD;仅系统提名或应用例,不据此另造机制卡。
Cassandra 03 le文件中的记录会无法找到,这意味着读操作的失败,很明显这是不允许的。Cassandra在实现时也采取了类似思路。 此外,Google的流式计算系统MillWheel在保证数据记录“恰好送达一次”语义时对重复记录的检测也采用了类;仅系统提名或应用例,不据此另造机制卡。
Avro 03 成至各种开源系统中,比如Hadoop、HBase、Cassandra、Avro等都将其集成进入系统。 数据压缩与解压缩本质上是通过增加CPU计算时间成本来换取较小的存储成本,以及网络和I/O传输成本。如果只是追求存储成;仅系统提名或应用例,不据此另造机制卡。
Corona 04 抽象模型 本节从现有的各种资源管理与调度系统中(YARN、Mesos、Corona、Quincy等)抽象出两个模型:资源管理的概念模型和通用架构。大部分资源管理系统都符合这两个抽象模型,但在具体实现细节上会有所不同。 4.;仅系统提名或应用例,不据此另造机制卡。
Quincy 04 从现有的各种资源管理与调度系统中(YARN、Mesos、Corona、Quincy等)抽象出两个模型:资源管理的概念模型和通用架构。大部分资源管理系统都符合这两个抽象模型,但在具体实现细节上会有所不同。 4.1.1 概念模;仅系统提名或应用例,不据此另造机制卡。
Maui 04 源管理与调度,这种类型调度器在高性能计算系统(HPC)中非常常见,比如Maui以及Moab等系统都采用此种方式。这种方式的基本调度逻辑都是采用融合多种考虑因素来综合计算每个任务的优先级,然后按照任务的优先级来进行后续调;仅系统提名或应用例,不据此另造机制卡。
Moab 04 ,这种类型调度器在高性能计算系统(HPC)中非常常见,比如Maui以及Moab等系统都采用此种方式。这种方式的基本调度逻辑都是采用融合多种考虑因素来综合计算每个任务的优先级,然后按照任务的优先级来进行后续调度与资源分配;仅系统提名或应用例,不据此另造机制卡。
lmctfy 04 用的资源。 Google在2013年开源了自己开发使用的Linux容器lmctfy系统,这是Google的大规模资源管理系统Borg和Omega的重要组成部分,类似的项目还有Cloud Foundry的Warden。 4.;仅系统提名或应用例,不据此另造机制卡。
Warden 04 和Omega的重要组成部分,类似的项目还有Cloud Foundry的Warden。 4.3 资源管理与调度系统范型 目前有多种实现资源管理与调度功能的实际系统,如果根据其宏观运行机制的不同进行分类,可以归纳出3种资源管理;仅系统提名或应用例,不据此另造机制卡。
Storm 04 经有很多大数据计算框架已经移植到YARN平台下,比如MR、流式计算系统Storm和Samza、图计算系统Giraph、DAG计算系统Tez等,相信越来越多的计算框架会逐步移植到YARN上,使得YARN成为一个名副其实的支;仅系统提名或应用例,不据此另造机制卡。
Samza 04 据计算框架已经移植到YARN平台下,比如MR、流式计算系统Storm和Samza、图计算系统Giraph、DAG计算系统Tez等,相信越来越多的计算框架会逐步移植到YARN上,使得YARN成为一个名副其实的支持多种大数据;仅系统提名或应用例,不据此另造机制卡。
Giraph 04 ARN平台下,比如MR、流式计算系统Storm和Samza、图计算系统Giraph、DAG计算系统Tez等,相信越来越多的计算框架会逐步移植到YARN上,使得YARN成为一个名副其实的支持多种大数据计算框架的基础资源管理平;仅系统提名或应用例,不据此另造机制卡。
Tez 04 计算系统Storm和Samza、图计算系统Giraph、DAG计算系统Tez等,相信越来越多的计算框架会逐步移植到YARN上,使得YARN成为一个名副其实的支持多种大数据计算框架的基础资源管理平台。 参考文献 [1];仅系统提名或应用例,不据此另造机制卡。
GFS 05 时将自己维护的内存数据进行快照操作并将快照内容存储到另外一个数据中心的GFS文件系统中;之所以要放到另外一个数据中心,是因为本数据中心的GFS节点依赖这个Chubby单元选举主节点,这样可以避免循环依赖的问题。 在G;仅系统提名或应用例,不据此另造机制卡。
BigTable 05 FS文件系统中,Chubby被用来选举哪台服务器作为“主控服务器”。在BigTable中,则在多处使用该系统:选举“主控服务器”;“主控服务器”用此服务来发现其他数据存储服务器;客户端程序根据Chubby找到“主控服务器”以及;仅系统提名或应用例,不据此另造机制卡。
HBase 05 的开源系统使用ZooKeeper的具体应用场景。 ZooKeeper在HBase的使用场景包括主控服务器选举与主备切换,作为配置管理在ZooKeeper中存储系统启动信息,发现新的子表服务器及侦测子表服务器是否依然存活等;仅系统提名或应用例,不据此另造机制卡。
Storm 05 表服务器及侦测子表服务器是否依然存活等。 Twitter的流式计算系统Storm利用ZooKeeper作为主控进程和工作进程状态信息存储场所,使得即使系统出现故障,也可以将进程快速切换到备份机运行。 资源管理系统Meso;仅系统提名或应用例,不据此另造机制卡。
Mesos 05 使得即使系统出现故障,也可以将进程快速切换到备份机运行。 资源管理系统Mesos利用ZooKeeper对主控服务器进行领导者选举与主备机器自动切换,避免主控服务器单点失效。 Yahoo的Pub-Sub消息服务系统Hedw;仅系统提名或应用例,不据此另造机制卡。
Hedwig 05 切换,避免主控服务器单点失效。 Yahoo的Pub-Sub消息服务系统Hedwig也在多处使用了ZooKeeper,其中包括存储配置文件、消息话题(Topic)的领导者选举及自动发现新加入成员等。 SolrCloud作为利;仅系统提名或应用例,不据此另造机制卡。
SolrCloud 05 配置文件、消息话题(Topic)的领导者选举及自动发现新加入成员等。 SolrCloud作为利用Solr和ZooKeeper构建的分布式搜索集群,也在多处使用了ZooKeeper,包括索引文件的配置信息存储、集群状态信息的存储及;仅系统提名或应用例,不据此另造机制卡。
Kafka 05 及集群成员机器发现与管理等。 LinkedIn的Pub-Sub消息系统Kafka在以下场景使用ZooKeeper:自动发现新添加的消息服务器(Broker)和消息消费者(Consumer);在消息服务器间进行自动负载均衡;仅系统提名或应用例,不据此另造机制卡。
Katta 05 存消费者和消息队列的映射关系及消费者当前消费信息在消息队列的位置等。 Katta是搭建在Lucene之上的可扩展分布式索引系统,它使用ZooKeeper来做主控服务器和索引服务器的成员自动管理及任务分配,使用领导者选举来;仅系统提名或应用例,不据此另造机制卡。
HBase 8 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。
Hive 8 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。
Impala 8 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。
Dremel 8 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。
Colossus 8 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。
MDS 8 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。
GPS 8 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。
SSD 9 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。
Redis Cluster 9 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。
Sentinel 9 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。
LevelDB 9 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。
Chubby 10 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。
Schema 10 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。
Atomic Clock 10 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。
Location Proxy 10 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。
Placement Driver 10 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。
BadRank 11 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。
Stinger 11 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。
Pig 11 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。
Hive 11 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。
FlumeJava 11 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。
Tez 11 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。
D-Stream 12 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。
Hadoop Online 12 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。
MUPD8 12 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。
Flux 12 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。
Aurora 12 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。
Borealis 12 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。
Pig、Tajo、Drill、Tenzing 13 本章多数仅在背景或参考文献提名,未展开机制,不按产品名机械留卡
FlockDB、Gizzard、Gizzmo 14 原书仅简述三层组成及分布管理职责,纳入在线结构讲解,不扩成未展开源码卡
HAMA、Neo4j 14 主要提名和时代产品判断,不据旧文宣称当前活跃度或规模限制
最大流、匈牙利算法 14 列为最大匹配的其他解法,未展开过程,仅注册
MPI/GPU 16–17 本章明确未展开;历史容量与局限不作为现行结论。
Creative 16 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
BidPrice 16 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
User-based KNN 16 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
Item-based KNN 16 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
Mahout 16 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
Tikhonov 16 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
MRR 16 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
MAP 16 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
NDCG 16 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
ERR 16 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
Min-Cut 16 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
Min-Max Cut 16 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
Ratio Cut 16 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
PARPACK 16 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
ARPACK 16 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
MPI 16 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
GMM 16 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
HMM 16 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
CRF 16 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
MaxEnt 16 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
SVM 16 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
RBM 16 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
DBN 16 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
De-noising Auto-encoder 16 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
Contractive Auto-encoders 16 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
Sparse Encoding Symmetric Machine 16 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
Adagrad 16 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
CBP 17 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
Incoop 17 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
IncMR 17 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
Caffeine 17 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
Progress Table 17 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
Snapshooter 17 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
Fingerprint 17 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。
Differential dataflow 17 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。

引用文献

标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境
Protocol Buffer. http://code.google.com/p/protobuf/. 原书章末参考 6 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读
Apache Thrift. http://thrift.apache.org/. 原书章末参考 6 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读
Apache Avro. http://avro.apache.org/. 原书章末参考 6 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读
Apache Avro Specification. http://avro.apache.org/docs/current/spec.html. 原书章末参考 6 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读
ActiveMQ. http://activemq.apache.org/. 原书章末参考 6 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读
ZeroMQ. http://zeromq.org/. 原书章末参考 6 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读
RabbitMQ. http://www.rabbitmq.com/. 原书章末参考 6 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读
Apache Kafka. http://kafka.apache.org/documentation.html#design. 原书章末参考 6 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读
Jay Kreps, Neha Narkhede, Jun Rao. Kafka: a Distributed Messaging System for Log Processing. NetDB’11, Jun. 12, 2011, Athens, Greece. 原书章末参考 6 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读
Twitter Kestrel. https://github.com/twitter/kestrel/blob/master/docs/guide.md. 原书章末参考 6 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读
Alberto Montresor. Gossip protocols for large-scale distributed systems.Tech Report. 2010. http://sbrc2010.inf.ufrgs.br/resources/presentations/tutorial/tutorial-montresor.pdf. 原书章末参考 6 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读
Alan Demers et al. Epidemic algorithms for replicated database maintenance. In Proc. of the 6th ACM Symposium on Principles of Distributed Computing(PODC’87), 1–12, ACM Press. 原书章末参考 6 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读
Cassandra源码解析.http://blog.csdn.net/firecoder/article/details/5707539. 原书章末参考 6 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读
Apache Flume. http://flume.apache.org/. 原书章末参考 7 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读
Scribe日志收集系统介绍。http://dongxicheng.org/search-engine/scribe-intro/. 原书章末参考 7 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读
Scribe源码。https://github.com/facebook/scribe. 原书章末参考 7 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读
Apache Chukwa. http://chukwa.apache.org/. 原书章末参考 7 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读
Jerome Boulon etc. Chukwa: A system for reliable large-scale log collection. Tech Report.2010. 原书章末参考 7 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读
Databus: LinkedIn’s Change Data Capture Pipeline. SOCC 2012. http://www.slideshare.net/ShirshankaDas/databus-socc-2012. 原书章末参考 7 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读
Databus. LinkedIn Data Infrastructure (QCon London 2012). http://www.slideshare.net/r39132/linkedin-data-infrastructure-qcon-london-2012. 原书章末参考 7 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读
Databus源码。https://github.com/linkedin/databus. 原书章末参考 7 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读
Wormhole. Facebook Blog. https://www.facebook.com/notes/facebook-engineering/wormhole-pubsub-system-moving-data-throug h-space-and-time/10151504075843920. 原书章末参考 7 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读
Kathleen Ting and Alexander Alten-Lorenz. Apache Sqoop:Highlights of Sqoop 2. 2012. 原书章末参考 7 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读
Apache Sqoop. http://sqoop.apache.org/. 原书章末参考 7 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读
L. Lamport. Paxos Made Simple. ACM SIGACT News (Distributed Computing Column), 2001, 32(4):51-58. 原书附录推荐文献或项目 附B 本书推荐点评已全文阅读;该段强调Paxos影响和阅读优先级,未展开新的安全性推导;作为论文参考登记,不以名气追加知识卡。
Diegn. Ongaro and John Ousterhout. In Search of an Understandable Consensus Algorithm.Tech Report. 2013. 原书附录推荐文献或项目 附B 本书推荐点评已全文阅读;Raft把可理解性和实现细节的确定性作为设计目标,提醒选型不只比较抽象功能,也要评估实施时能否清楚处理边界。
G. DeCandia, D. Hastorun, M. Jampani, G. Kakulapati, A. Lakshman, A. Pilchin, S. Sivasubramanian, P. Vosshall, and W. Vogels. Dynamo: amazon’s highly available key-value store. Proceedings of ACM symposium on Operating systems principles, 2007,pp: 205-220. 原书附录推荐文献或项目 附B 本书推荐点评已全文阅读;Dynamo把一致性哈希、反熵、Merkle树、向量时钟及读写仲裁组合为实用KV系统。组成技术并非各自新发明,价值还在协同组织及对复杂P2P管理的取舍。
Mongodb. http://www.mongodb.org/ 原书附录推荐文献或项目 附B 本书推荐点评已全文阅读;此处以流行和适用范围推荐MongoDB,没有补充独立实现机制;市场地位限于原书时期,登记项目参考。
J. Ousterhout et al. The Case for RAMClouds: Scalable High-Performance Storage Entirely in DRAM. ACM Special Interest Group on Operating Systems, 2009. 原书附录推荐文献或项目 附B 本书推荐点评已全文阅读;RAMCloud用内存保存服务数据,并借助外存备份平衡成本与恢复能力;低延迟目标不能脱离网络、恢复及备份约束来解释。
Redis. http://redis.io/ 原书附录推荐文献或项目 附B 本书推荐点评已全文阅读;Redis推荐点评强调单机效率和灵活数据结构,分布式部分的不足是原书年代评价,不作为当前Sentinel或Cluster能力判断。
S. Ghemawat, H. Gobioff and S.T. Leung. The Google File System. 19th ACM Symposium on Operating Systems Principles,2003. 原书附录推荐文献或项目 附B 本书推荐点评已全文阅读;GFS围绕大量网页存储构建基础文件服务,并成为上层数据处理平台的基石;其意义在与负载匹配的设计,而不只是规模数字。
D. Beaver, S. Kumar, H.C. Li, J. Sobel and P. Vajgel. Finding a Needle in Haystack: Facebook’s Photo Storage. The 7th USENIX Symposium on Operating Systems Design and Implementation,2010. 原书附录推荐文献或项目 附B 本书推荐点评已全文阅读;Haystack针对海量图片对象的访问和管理成本设计存储,展示文件接口以外的对象工作负载取舍;并非任何对象存储都必然采用相同索引。
J. S. Plank. A Tutorial on Reed-Solomon Coding for Fault-Tolerance in RAID-like Systems, Technical Report, 1996. 原书附录推荐文献或项目 附B 本书推荐点评已全文阅读;纠删码用编码冗余减少完整副本所需空间,恢复却可能需要读取多个剩余块。成本评估应同时考虑存储和恢复路径。
M. Sathiamoorthy etc. XORing Elephants: Novel Erasure Codes for Big Data. In 39th International Conference on Very Large Data Bases (VLDB), 2013. 原书附录推荐文献或项目 附B 本书推荐点评已全文阅读;局部重建码关注恢复少量损坏块时的网络开销,以增加局部分组的冗余换取较少的数据搬运;不能仅比较总冗余比例。
F. Chang, J. Dean, S. Ghemawat, W. C. Hsieh, D. A. Wallach, M. Burrows, T. Chandra, A. Fikes, and R. E. Gruber. Bigtable: A distributed storage system for structured data. ACM Transaction on Computing System, 2008,26(2):1-26. 原书附录推荐文献或项目 附B 本书推荐点评已全文阅读;Bigtable把大规模结构化数据模型与下层文件、协调等服务组合,承接海量文件存储并向应用提供更合适的数据组织。
Cassandra. http://cassandra.apache.org/ 原书附录推荐文献或项目 附B 本书推荐点评已全文阅读;Cassandra把Bigtable风格模型与P2P、Dynamo相关机制结合,说明数据模型和底层复制分片架构是可分别取舍的设计维度。
C. J. Corbett, J. Dean etc. Spanner: Google’s Globally-Distributed Database. 10th USENIX Symposium on Operating Systems Design and Implementation, 2012. 原书附录推荐文献或项目 附B 本书推荐点评已全文阅读;Spanner点评强调全球部署和事务能力。应将跨地域一致性放回复制仲裁、时间不确定性及故障条件,不能理解成任意数据中心同时失效仍无条件可用。
Databus: LinkedIn’s Change Data Capture Pipeline. SOCC 2012. 原书附录推荐文献或项目 附B 本书推荐点评已全文阅读;数据总线把源数据的已提交变化通知给关注它的下游,减轻各应用重复扫描源库的负担;重放与消费正确性仍有独立边界。
M. Burrows. The chubby lock service for loosely-coupled distributed systems. In OSDI’06: Proceedings of the 7th symposium on Operating systems design and implementation, 2006,pp: 335-350. 原书附录推荐文献或项目 附B 本书推荐点评已全文阅读;粗粒度锁服务承担命名、协调和少量控制信息等职责,帮助上层大系统协调,而不是承接所有高频业务读写。
P. Hunt, M. Konar, F. P. Junqueira and B. Reed. ZooKeeper: Wait-free coordination for Internet-scale systems. In USENIX Annual Technical Conference, 2010. 原书附录推荐文献或项目 附B 本书推荐点评已全文阅读;原书年份2011经USENIX书目核为2010。选主、配置、组成员和锁是协调服务的典型用途。选择已有协调系统能够复用经过设计的机制,却不能省略客户端会话与失败处理。
V. K. Vavilapalli etc. Apache Hadoop YARN: Yet Another Resource Negotiator. ACM Symposium on Cloud Computing, 2013. 原书附录推荐文献或项目 附B 本书推荐点评已全文阅读;YARN把资源管理从MapReduce专用主控中分离,为多类计算框架提供资源平台;它不是MapReduce应用本身,生态预测也应保留原书时间坐标。
M. Schwarzkopf, A. Konwinski, M. A. Malek and J. Wilkes. Omega: flexible, scalable schedulers for large compute clusters. In Proceedings of the 8th ACM European Conference on Computer Systems,2013,pp: 351–364. 原书附录推荐文献或项目 附B 本书推荐点评已全文阅读;共享状态调度让多个框架观察资源并独立制定策略,以乐观控制应对竞争冲突;更完整的分类帮助比较集中式、两级与共享状态调度。
Apache Kafka. http://kafka.apache.org/documentation.html#design 原书附录推荐文献或项目 附B 本书推荐点评已全文阅读;Kafka从日志收集扩展为分区化消息通道,保留日志与消费位置支持多种用途。吞吐与低延迟必须连同确认、保留和复制条件讨论。
J. Dean and S. Ghemawat. MapReduce: simplified data processing on large clusters. Sixth Symposium on Operating Systems Design and Implementation, 2004. 原书附录推荐文献或项目 附B 本书推荐点评已全文阅读;MapReduce以批量数据并行模型影响后续平台,评价它时应同时看编程约束、数据搬运和故障重执行,而不是把批处理当作所有任务的统一答案。
M. Isard, S. V. Mihai etc. Dryad: Distributed Data-Parallel Programs from Sequential Building Blocks. ACM SIGOPS in Europe EuroSys, 2007. 原书附录推荐文献或项目 附B 本书推荐点评已全文阅读;Dryad用有向无环任务图表达分阶段数据并行,较单个MapReduce作业能表示更一般的依赖;图表达更广不代表每种任务都更快。
N. Marz. Twitter storm. https://github.com/nathanmarz/storm/wiki, 2012. 原书附录推荐文献或项目 附B 本书推荐点评已全文阅读;低时延数据处理关注持续到达事件及其状态、失败和交付语义。Storm在此是原书的重要开源入口,产品名本身不构成端到端一次处理的保证。
T.Akidau, A. Balikov, K. Bekir, S. Chernyak, J. Haberman, R. Lax, S. McVeety, D. Mills, P. Nordstrom and S. Whittle. MillWheel: Fault-Tolerant Stream Processing at Internet Scale. In Very Large Database Conference, 2013. 原书附录推荐文献或项目 附B 本书推荐点评已全文阅读;MillWheel把低延迟、容错及计算表达能力放入持续流处理平台的整体设计,适合与其他流系统比较保证及代价,不能只比较吞吐数字。
A. Thusoo, J. S. Sarma, N. Jain, Z. Shao, P. Chakka, N. Zhang, S. Anthony, H. Liu and R. Murthy. Hive - a petabyte scale data warehouse using Hadoop. In International Conference on Data Engineering, 2010, pp: 996-1005. 原书附录推荐文献或项目 附B 本书推荐点评已全文阅读;Hive将SQL式数据分析映射到Hadoop执行,降低既有数据仓库用户迁移门槛;原书对其MapReduce执行成本的评价有版本背景。
S. Melnik, A. Gubarev, J. J. Long, G. Romer, S. Shivakumar, M. Tolton, and T. Vassilakis. Dremel: interactive analysis of web-scale datasets. Communication of ACM, 2011,54(6):114–123. 原书附录推荐文献或项目 附B 本书推荐点评已全文阅读;Dremel结合交互分析需要组织列式数据及分布式查询,影响后续SQL-on-Hadoop系统。借鉴相似架构不等于开源项目就是其源码公开版本。
Impala. https://github.com/cloudera/impala 原书附录推荐文献或项目 附B 本书推荐点评已全文阅读;Impala是原书列举的交互式SQL系统。性能领先需要完整工作负载与环境证据,点评中最好排名只保留为历史评价,不作为当前选型结论。
G. Malewicz, M.H. Austern, A.J. Bik, J. Dehnert, I. Horn,N. Leiser, and G.Czajkowski, Pregel: a system for large-scale graph processing. In 2010 SIGMOD Conference,2010. 原书附录推荐文献或项目 附B 本书推荐点评已全文阅读;Pregel将图计算组织为BSP式顶点迭代和消息交换,适合表达图依赖计算;终止、组合器及具体算法正确性仍需独立条件。
J.E. Gonzalez, Y. Low, H. Gu, D. Bickson, C. Guestrin, Powergraph: Dis- tributed graph-parallel computation on natural graphs. In Proceedings of the 10th USENIX Symposium on Operating Systems Design and Implementation,2012. 原书附录推荐文献或项目 附B 本书推荐点评已全文阅读;PowerGraph点评明确补充它能组织同步与异步两种计算。结合第14章可区分GAS接口和同步策略;效率排名保留2014语境,不能由称赞推导所有图都更快。
W. Dai, J. Wei, X. Zheng, J. K. Kim, S. Lee, J. Yin, Q. Ho, E. P. Xing. Petuum: A Framework for Iterative-Convergent Distributed ML.2013, arXiv:1312.7651. 原书附录推荐文献或项目 附B 本书推荐点评已全文阅读;参数服务器为迭代收敛学习共享参数,需权衡陈旧读取、同步成本和算法收敛条件;海量参数数字本身不能证明通用性能。
M. Zaharia etc. Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing, 2011, UCB/EECS-2011-82. 原书附录推荐文献或项目 附B 本书推荐点评已全文阅读;RDD以可重建的数据抽象支持迭代计算,内存复用和容错依赖数据依赖关系,不是把全部数据永久放内存。
R. Bekkerman, M. Bilenko and J. Langford. Scaling Up Machine Learning: Parallel and Distributed Approaches. Cambridge University Press, 2012. 原书附录推荐文献或项目 附B 本书推荐点评已全文阅读;这部文集把MPI、GPU、MapReduce、Dryad等并行范型下的学习算法放在一起,提供按算法与执行环境比较的阅读路线;本轮仅阅读本书推荐点评。
Chord: A Scalable Peer-to-peer Lookup Service for Internet Applications 论文/文献 01 本章参考文献第1项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Ion Stoica, Robert Morris, David Karger, M. Frans Kaashoek, Hari Balakrishnan Chord: A Scalable Peer-to-peer Lookup Service for Internet Applications SIGCOMM’01, San Diego, California, USA. August 27,2001.
数据库系统实现(第2版) 书籍 01 本章参考文献第2项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Hector Garcia-Molina, Jeffrey D.Ullman and Jennifer Widom.《数据库系统实现》第2版.第9章.
Couchbase 网站/文档 01 本章参考文献第3项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Couchbase. http://www.couchbase.com/wiki/display/couchbase/Home
BigTable: A distributed storage system for structured data 论文/文献 01 本章参考文献第4项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:F. Chang, J. Dean, S. Ghemawat, W. C. Hsieh, D. A. Wallach, M. Burrows, T. Chandra, A. Fikes, and R. E. Gruber. BigTable: A distributed storage system for structured data. ACM Trans. Comput. Syst. , 26(2):1-26, 2008.
Pnuts: Yahoo!’s hosted data serving platform 论文/文献 01 本章参考文献第5项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:B. F. Cooper, R. Ramakrishnan, U. Srivastava, A. Silberstein, P. Bohannon, H.-A. Jacobsen, N. Puz, D. Weaver, and R. Yerneni. Pnuts: Yahoo!’s hosted data serving platform. Proc. VLDB Endow., 1(2):1277-1288, 2008.
Dynamo: amazon’s highly available key-value store 论文/文献 01 本章参考文献第6项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:G. DeCandia, D. Hastorun, M. Jampani, G. Kakulapati, A. Lakshman, A. Pilchin, S. Sivasubramanian, P. Vosshall, and W. Vogels. Dynamo: amazon’s highly available key-value store. In SOSP’07: Proceedings of twenty-_rst ACM SIGOPS symposium on Operating systems principles, pages 205-220, New York, NY, USA, 2007.
Windows Azure Storage: a highly available cloud storage service with strong consistency 论文/文献 01 本章参考文献第7项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Brad Calder, Ju Wang, Aaron Ogus etc. Windows Azure Storage: a highly available cloud storage service with strong consistency. SOSP’11 Proceedings of the Twenty-Third ACM Symposium on Operating Systems Principles. Pages 143-157. 2011.
分布式系统原理与范型(第2版) 书籍 02 本章参考文献第1项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Andrew S.Tanenbaum and Maarten Van Steen.分布式系统原理与范型(第2版)。
Vector Clock 网站/文档 02 本章参考文献第2项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Vector Clock. http://en.wikipedia.org/wiki/Vector_clock.
Fundamentals of Distributed Computing: A Practical Tour of Vector Clock Systems 论文/文献 02 本章参考文献第3项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Roberto Baldoni, Universita di Roma, ItalyMichel Raynal. Fundamentals of Distributed Computing: A Practical Tour of Vector Clock Systems. http://net.pku.edu.cn/~course/cs501/2008/reading/a_tour_vc.html
Brewer’s Conjecture and the Feasibility of Consistent, Available, Partition-Tolerant Web Services 论文/文献 02 本章参考文献第4项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:S. Gilbert and N. Lynch,“Brewer’s Conjecture and the Feasibility of Consistent, Available, Partition-Tolerant Web Services,” ACM SIGACT News, June 2002, pp. 51-59.
CAP Twelve Years Later: How the Rules Have Changed 论文/文献 02 本章参考文献第5项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Eric Brewer.CAP Twelve Years Later: How the”Rules” Have Change. IEEE Computer Society.2012.
Eventually Consistent-Revisited 论文/文献 02 本章参考文献第6项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Eventually Consistent-Revisited. Weiner Vogals.2008.12. http://www.allthingsdistributed.com/2008/ 12/eventually_consistent.html.
Eventual Consistency Today: Limitations, Extensions, and Beyond 论文/文献 02 本章参考文献第7项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Peter Bailis, Ali Ghodsi. Eventual Consistency Today: Limitations, Extensions, and Beyond. Communications of the ACM, Vol. 56 No. 5, Pages 55-63.2013.
In Search of an Understandable Consensus Algorithm 论文/文献 02 本章参考文献第8项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Diego Ongaro and John Ousterhout. In Search of an Understandable Consensus Algorithm.Tech Report. 2013. https://ramcloud.stanford.edu/wiki/download/attachments/11370504/raft.pdf.
Paxos Made Simple 网站/文档 02 本章参考文献第9项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Leslie Lamport. Paxos Made Simple. ACM SIGACT News (Distributed Computing Column) 32, 4 (Whole Number 121, December 2001) 51-58. 2001.
Generalized Consensus and Paxos 论文/文献 02 本章参考文献第10项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:L. Lamport, Generalized Consensus and Paxos, tech. report MSR-TR-2005-33, Microsoft Research, 2005; ftp://ftp.research.microsoft.com/pub/tr TR-2005-33.pdf. 2005.
Fast Paxos 网站/文档 02 本章参考文献第11项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Leslie Lamport. Fast Paxos. Distributed Computing 19, 2 (October 2006) 79-103.2006.
Paxos 网站/文档 02 本章参考文献第12项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Paxos. http://en.wikipedia.org/wiki/Paxos_algorithm.
Viewstamped Replication Revisited 论文/文献 02 本章参考文献第13项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Barbara Liskov and James Cowling. Viewstamped Replication Revisited. MIT technical report MIT-CSAIL-TR-2012-021,2012.
Zab: High-performance broadcast for primary-backup systems 论文/文献 02 本章参考文献第14项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Flavio P. Junqueira, Benjamin C. Reed and USAMarco Serafin. Zab: High-performance broadcast for primary-backup systems. 2011 IEEE/IFIP 41st International Conference on Dependable Systems&Networks.2011.
Consistency Tradeoffs in Modern Distributed Database System Design 论文/文献 02 本章参考文献第15项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Daniel J. Abadi, Consistency Tradeoffs in Modern Distributed Database System Design. Computer, vol. 45, no. 2, pp. 37-42, Feb. 2012.
Using Paxos to Build a Scalable, Consistent, and Highly Available Datastore 论文/文献 02 本章参考文献第16项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:J. Rao, E.J. Shekita, and S. Tata,“Using Paxos to Build a Scalable, Consistent, and Highly Available Datastore,” Proc. VLDB Endowment (VLDB 11), ACM, 2011, pp. 243-254.
Bloom Filter 网站/文档 03 本章参考文献第1项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Bloom Filter. http://en.wikipedia.org/wiki/Bloom_filter.
Bloom Filter and its Application in DS 论文/文献 03 本章参考文献第2项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Bloom Filter and its Application in DS. Tech Report. 2007北京大学。http://net.pku.edu.cn/~course/cs501/2007/ppt/09BloomFilter.pdf.
Skip Lists: A Probabilistic Alternative to Balanced Trees 论文/文献 03 本章参考文献第3项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:William Pugh. Skip Lists: A Probabilistic Alternative to Balanced Trees. Communications of the ACM. CACM Volume 33 Issue 6, June 1990 Pages 668-676. 1990.
The Design and Implementation of a Log-Structured File System 论文/文献 03 本章参考文献第4项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Mendel Rosenblum, John K. Ousterhout. The Design and Implementation of a Log-Structured File System. ACM Transactions on Computer Systems.v10. 1991.
Leveldb日知录 网站/文档 03 本章参考文献第5项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Leveldb日知录。http://www.samecity.com/blog/Index.asp.
Merkle Tree 网站/文档 03 本章参考文献第6项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Merkle Tree. http://en.wikipedia.org/wiki/Merkle_tree.
Bitcoin: A Peer-to-Peer Electronic Cash System 论文/文献 03 本章参考文献第7项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Satoshi Nakamoto. Bitcoin: A Peer-to-Peer Electronic Cash System. Tech Report.
SILT: A Memory-Efficient, High-Performance Key-Value Store 论文/文献 03 本章参考文献第8项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Hyeontaek Lim, Bin Fan, David G. Andersen and Michael Kaminsky. SILT: A Memory-Efficient, High-Performance Key-Value Store. in Proceedings of the 23rd ACM Symposium on Operating Systems Principles (SOSP’11). 2011.
A Universal Algorithm for Sequential Data Compression 论文/文献 03 本章参考文献第9项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Jacob Ziv, Abraham Lempel, A Universal Algorithm for Sequential Data Compression, IEEE Transactions on Information Theory, 23(3):337-343, May 1977.
数据无损压缩 网站/文档 03 本章参考文献第10项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:数据无损压缩.张奇。 http://jkx.fudan.edu.cn/~qzhang/COMP130036/mm-ch04.ppt.
Snappy Source Code 网站/文档 03 本章参考文献第11项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Snappy Source Code. http://code.google.com/p/snappy/.
Cuckoo Hashing 网站/文档 03 本章参考文献第12项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:P. Rasmus, F. Friche.“Cuckoo Hashing” Algorithms — ESA 2001. Lecture Notes in Computer Science 2161. pp. 121–133. 2001.
Cockoo Hashing 网站/文档 03 本章参考文献第13项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Cockoo Hashing. http://en.wikipedia.org/wiki/Cuckoo_hashing.
Apache Hadoop YARN: Yet Another Resource Negotiator 论文/文献 04 本章参考文献第1项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Vinod Kumar Vavilapalli etc. Apache Hadoop YARN: Yet Another Resource Negotiator. ACM Symposium on Cloud Computing, Oct 1-3, 2013.
Omega: flexible, scalable schedulers for large compute clusters 论文/文献 04 本章参考文献第2项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:M. Schwarzkopf, A. Konwinski, M. Abd-El-Malek, and J. Wilkes. Omega: flexible, scalable schedulers for large compute clusters. In Proceedings of the 8th ACM European Conference on Computer Systems, EuroSys’13, pages 351–364, New York, NY, USA, 2013. ACM.
Mesos: a platform for fine-grained resource sharing in the data center 论文/文献 04 本章参考文献第3项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:B. Hindman, A. Konwinski, M. Zaharia, A. Ghodsi,A. D. Joseph, R. Katz, S. Shenker, and I. Stoica. Mesos: a platform for fine-grained resource sharing in the data center. In Proceedings of the 8th USENIX conference on Networked systems design and implementation, NSDI’11, pages 22–22, Berkeley, CA, USA, 2011. USENIX Association.
Under the Hood: Scheduling MapReduce jobs more efficiently with Corona 论文/文献 04 本章参考文献第4项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Facebook Engineering Team. Under the Hood:Scheduling MapReduce jobs more efficiently with Corona. http://on.fb.me/TxUsYN, 2012.
YARN 网站/文档 04 本章参考文献第5项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:YARN.http://hortonworks.com/hadoop/yarn/.
Hadoop on Demand 网站/文档 04 本章参考文献第6项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Hadoop on Demand. http://hadoop.apache.org/docs/r1.0.4/cn/hod.html.
Dominant resource fairness: fair allocation of multiple resource types 论文/文献 04 本章参考文献第7项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:GhodsiI, A., Zaharia, M., Hindman, B., Konwinski, A., Shenker, S., and Stoica, I. Dominant resource fairness: fair allocation of multiple resource types. In Proceedings of NSDI (2011), pp. 323–336.
Survey on Improved Scheduling in Hadoop MapReduce in Cloud Environments 论文/文献 04 本章参考文献第8项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:B.Thirumala Rao, LSS Reddy; “Survey on Improved Scheduling in Hadoop MapReduce in Cloud Environments”; International Journal of Computer Applications Vol.34, Issue 9, pp-29-33, November, 2011.
Quincy: fair scheduling for distributed computing clusters 论文/文献 04 本章参考文献第9项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:ISard, M., Prabhakaran, V., Currey, J., Weieder, U., Talwar, K.,and Goldberg, A. Quincy: fair scheduling for distributed computing clusters. In Proceedings of SOSP (2009).
Delay scheduling: A simple technique for achieving locality and fairness in cluster scheduling 论文/文献 04 本章参考文献第10项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Zaharia, M., Borthakur, D., Sen Sarma, J.,Elmeleegy, K., Shenker, S.,and D Stoica, I. Delay scheduling: A simple technique for achieving locality and fairness in cluster scheduling. In Proceedings of EuroSys (2010),pp. 265–278.
集群资源管理 网站/文档 04 本章参考文献第11项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:集群资源管理.http://dongxicheng.org/。
Lmctfy 网站/文档 04 本章参考文献第12项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Lmctfy. https://github.com/google/lmctfy/.
linux container 网站/文档 04 本章参考文献第13项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:linux container. http://lxc.sourceforge.net.
The chubby lock service for loosely-coupled distributed systems 论文/文献 05 本章参考文献第1项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:M. Burrows. The chubby lock service for loosely-coupled distributed systems. In OS DI’06: Proceedings of the 7th symposium on Operating systems design and implementation, pages 335-350, Berkeley, CA, USA, 2006. USENIX Association.
Paxos made live: An engineering perspective 论文/文献 05 本章参考文献第2项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:T. Chandra, R. Griesemer, and J. Redstone. Paxos made live: An engineering perspective. In Proceedings of the 26th annual ACM symposium on Principles of distributed computing (PODC), Aug. 2007.
ZooKeeper: Wait-free coordination for Internet-scale systems 论文/文献 05 本章参考文献第3项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Patrick Hunt, Mahadev Konar, Flavio P. Junqueira and Benjamin Reed. ZooKeeper: Wait-free coordination for Internet-scale systems. In USENIX Annual Technical Conference.2011.
Zab: High-performance broadcast for primary-backup systems 论文/文献 05 本章参考文献第4项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Flavio P. Junqueira, Benjamin C. Reed, and Marco Serafini. Zab: High-performance broadcast for primary-backup systems. DSN-DCCS, 2011.
Zookeeper 网站/文档 05 本章参考文献第5项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Zookeeper. http://zookeeper.apache.org/.
Katta-distribute lucene indexes in a grid 论文/文献 05 本章参考文献第6项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Katta. Katta-distribute lucene indexes in a grid. http://katta.wiki.sourceforge.net/, 2008.
Solr 网站/文档 05 本章参考文献第7项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Solr. http://lucene.apache.org/solr/.
Storm 网站/文档 05 本章参考文献第8项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Storm. http://storm-project.net/.
kafka 网站/文档 05 本章参考文献第9项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:kafka. http://kafka.apache.org/.
[1] Sanjay Ghemawat, Howard Gobioff, and Shun-Tak Leung.The Google File System. 19th ACM Symposium on Operating Systems Principles,Lake George, NY, October, 2003. 原书参考条目 8 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[2] Hadoop.http://hadoop.apache.org/index.html. 原书参考条目 8 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[3] HDFS HA.https://issues.apache.org/jira/browse/HDFS-1623. 原书参考条目 8 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[4] HDFS Federation.https://issues.apache.org/jira/browse/HDFS-1052. 原书参考条目 8 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[5] HDFS Qurom Journal Manager.http://yanbohappy.sinaapp.com/?p=205. 原书参考条目 8 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[6] Beaver, D., Kumar, S., Li, H. C., Sobel, J., and Vajgel, P. Finding a Needle in Haystack: Facebook’s Photo Storage. In OSDI (Vancouver, BC, Oct. 2010). 原书参考条目 8 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[7] Parquet.http://parquet.io/. 原书参考条目 8 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[8] ORCFile.http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.0.2/ds_Hive/orcfile.html. 原书参考条目 8 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[9] Yongqiang He. Etc. RCFile: A fast and space-efficient data placement structure in MapReduce-based warehouse systems. IEEE 27th International Conference on Data Engineering. 2011. 原书参考条目 8 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[10] Sergey Melnik, Andrey Gubarev, Jing Jing Long, Geoffrey Romer, Shiva Shivakumar, Matt Tolton, Theo Vassilakis. Dremel: Interactive Analysis of Web-Scale Datasets. Proc. of the 36th Int’l Conf on Very Large Data Bases (2010), pp. 330-339. 原书参考条目 8 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[11] James S. Plank. A Tutorial on Reed-Solomon Coding for Fault-Tolerance in RAID-like Systems. Technical Report.1996. 原书参考条目 8 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[12] Reed-Solomon.http://en.wikipedia.org/wiki/Reed%E2%80%93Solomon_error_correction. 原书参考条目 8 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[13] Erasure Code.http://en.wikipedia.org/wiki/Erasure_code. 原书参考条目 8 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[14] HDFS-RAID. http://wiki.apache.org/hadoop/HDFS-RAID. 原书参考条目 8 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[15] Cheng Huang, Huseyin Simitci, Yikang Xu, Aaron Ogus, Brad Calder, Parikshit Gopalan, Jin Li, and Sergey Yekhanin. Erasure Coding in Windows Azure Storage. USENIX ATC (2012). 原书参考条目 8 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[16] Maheswaran Sathiamoorthy. etc. XORing Elephants: Novel Erasure Codes for Big Data .in 39th International Conference on Very Large Data Bases (VLDB) 2013. 原书参考条目 8 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[1] Diego Ongaro, Stephen M. Rumble, Ryan Stutsman,John Ousterhout, and Mendel Rosenblum. Fast Crash Recovery in RAMCloud. SOSP’11, Cascais, Portugal. 原书参考条目 9 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[2] John Ousterhout et al. The Case for RAMClouds: Scalable High-Performance Storage Entirely in DRAM. SIGOPS OSR 2009. 原书参考条目 9 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[3] Redis. http://redis.io/. 原书参考条目 9 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[4] Redis Cluster. http://redis.io/topics/cluster-spec. 原书参考条目 9 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[5] Keepalived. http://www.keepalived.org/. 原书参考条目 9 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[6] 通过Keepalived实现Redis Failover自动故障切换功能。http://blog.csdn.net/xinhui88/article/details/8279684. 原书参考条目 9 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[7] Membase. http://www.couchbase.com/wiki/display/couchbase/Home. 原书参考条目 9 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[1] F. Chang, J. Dean, S. Ghemawat, W. C. Hsieh, D. A. Wallach, M. Burrows, T. Chandra, A. Fikes, and R. E. Gruber. BigTable: A distributed storage system for structured data. ACM Trans. Comput. Syst., 26(2):1-26, 2008. 原书参考条目 10 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[2] HBase. http://hbase.apache.org/. 原书参考条目 10 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[3] B. F. Cooper, R. Ramakrishnan, U. Srivastava, A. Silberstein, P. Bohannon, H.A. Jacobsen, N. Puz, D. Weaver, and R. Yerneni. Pnuts: Yahoo!’s hosted data serving platform. Proc. VLDB Endow. , 1(2):1277-1288, 2008. 原书参考条目 10 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[4] J. Furman, J. S. Karlsson, J.-M. Leon, A. Lloyd, S. Newman, and P. Zeyliger. Megastore: A scalable data system for user facing applications. In ACM SIGMOD/PODS Conference, 2008. 原书参考条目 10 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[5] James C. Corbett, Jeffrey Dean etc. Spanner: Google’s Globally-Distributed Database. 10th USENIX Symposium on Operating Systems Design and Implementation (OSDI’12) 2012. 原书参考条目 10 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[1] Kyong-Ha Lee, Yoon-Joon Lee, Hyunsik Choi etc. Parallel data processing with MapReduce: a survey. ACM SIGMOD Record archive. Volume 40 Issue 4, December 2011 Pages 11-20.2011. 原书参考条目 11 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[2] Jeffrey Dean and Sanjay Ghemawat. MapReduce: simplified data processing on large clusters. 0SDI’04. 2004. 原书参考条目 11 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[3] Donald Miner and Adam Shook. Mapreduce design patterns: Building Effective Algorithms and Analytics for Hadoop and Other Systems. O’Reilly Media. 2012. 原书参考条目 11 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[4] MapReduce. MapReduce Patterns, Algorithms, and Use Cases. http://highlyscalable.wordpress.com/2012/02/01/mapreduce-patterns/. 原书参考条目 11 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[5] Michael Isard, Silicon ValleyMihai etc. Dryad: Distributed Data-Parallel Programs from SequentialBuilding Blocks. EuroSys’07, March 21–23, 2007, Lisboa, Portugal.2007. 原书参考条目 11 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[6] Craig Chambers, Ashish Raniwala etc. FlumeJava: Easy, Efficient Data-Parallel Pipelines. PLDI’10, June 5–10, 2010, Toronto, Ontario, Canada. 2010. 原书参考条目 11 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[7] Tez. http://tez.incubator.apache.org/. 原书参考条目 11 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[1] T.Akidau, A.Balikov, K.Bekir, S.Chernyak, J.Haberman,R. Lax, S.McVeety, D. Mills, P. Nordstrom and S. Whittle. MillWheel: Fault-Tolerant Stream Processing atInternet Scale. In Very Large Database Conference, 2013. 原书参考条目 12 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[2] Twitter storm. https://github.com/nathanmarz/storm/wiki,2012. 原书参考条目 12 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[3] Trident. https://github.com/nathanmarz/storm/wiki/Trident-tutorial,2012. 原书参考条目 12 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[4] Samza.http://samza.incubator.apache.org/, 2013. 原书参考条目 12 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[5] T. Condie, N. Conway, P. Alvaro, J. M. Hellerstein,K. Elmeleegy, and R. Sears. MapReduce online.In USENIX Symposium on Networked Systems Design& Implementation, 2010, pp. 21-29. 原书参考条目 12 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[6] M. Zaharia, T. Das, H. Li, S. Shenker, and I. Stoica. Discretized streams: an effcient and fault-tolerant model for stream processing on large clusters. In USENIX AssociationHotCloud Conference, 2012. 原书参考条目 12 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[7] L. Neumeyer, B. Robbins, A. Nair, and A. Kesari. S4: Distributed stream computing platform.In Proceedings of the 9th IEEE International Conference on Data Mining,2010, pp. 170 –177. 原书参考条目 12 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[8] D. J. Abadi, Y. Ahmad, M. Balazinska, M. Cherniack, J. hyon Hwang, W. Lindner, A. S. Maskey, E. Rasin, E. Ryvkina, N. Tatbul, Y. Xing, and S. Zdonik. The design of the borealis stream processing engine.The biennial Conference on Innovative Data Systems Research,2005,pp.277–289. 原书参考条目 12 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[9] D. J. Abadi, D. Carney, U. C, etintemel, M. Cherniack, C. Convey, S. Lee, M. Stonebraker, N. Tatbul, and S. Zdonik. Aurora: a new model and architecture for data stream management. The VLDB Journal, 2003,(2):120–139. 原书参考条目 12 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[10] MUPD8. https://github.com/walmartlabs/mupd8.2013. 原书参考条目 12 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[11] L.Wang, L. Liu, S.T.S Prasad, A.Rajaraman, Z.Vacheri, A.H Doan. Muppet: MapReduce-Style Processing of Fast Data.The Proceedings of the VLDB, 2012, (5): 1814-1825. 原书参考条目 12 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
[12] IlyaKatsov. In stream big data processing http://blog.csdn.net/macyang/article/details/10183393. 原书参考条目 12 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。
Hive - a petabyte scale data warehouse using Hadoop 论文 13 原书参考[2],本文主要据原书解读
Shark: SQL and Rich Analytics at Scale 论文 13 原书参考[4]
Dremel: interactive analysis of web-scale datasets 论文 13 原书参考[5];Google Research官方条目已访问,未据摘要代替全文
Processing a trillion cells per mouse click 论文 13 原书参考[14],PowerDrill机制
Hadoopdb: an architectural hybrid of mapreduce and DBMS technologies 论文 13 原书参考[17],本轮不声称阅读完整外部论文
TAO: Facebook’s Distributed Data Store for the Social Graph 论文 14 USENIX ATC2013;本轮实际核读第6节一致性条件
Pregel: a system for large-scale graph processing 论文 14 SIGMOD2010;本轮实际核读第2节终止与5.3极大匹配
Distributed GraphLab 论文 14 原书参考[5],Scope与一致性模型主要据原书
GraphChi: Large-scale graph computation on just a PC 论文 14 原书参考[9],PSW主要据原书
Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing 论文 16–17 生成时校正窄依赖定义、缓存惰性及存储级别;不是额外独立复核。 实际入口:https://www.istc-cc.cmu.edu/publications/papers/2012/nsdi12-zaharia.pdf
Spark RDD Programming Guide 官方文档 16–17 生成时校正窄依赖定义、缓存惰性及存储级别;不是额外独立复核。 实际入口:https://spark.apache.org/docs/latest/rdd-programming-guide.html
[1] M.A. Zinkevich, A.Smola, M. Weimer and L.H. Li.Parallelized stochastic gradient descent. Advances in Neural Information Processing Systems, 2010. 原书参考条目 16 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。
[2] 冯扬.详解并行逻辑回归.http://www.csdn.net/article/2014-02-13⁄2818400-2014-02-13 原书参考条目 16 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。
[3] 刘小兵.大规模逻辑回归并行化.http://www.haiwenku.com/view/561260.html 原书参考条目 16 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。
[4] Y. Zhou, D. Wilkinson, R. Schreiber and R.Pan. Large-scale Parallel Collaborative Filtering for the Netflix Prize. Proceeding of 4th International Conference on Algorithmic Aspects in Information and Management, 2008,LNCS 5034. 原书参考条目 16 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。
[5] T.Elsayed, J. Lin, and D. W. Oard.Pairwise Document Similarity in Large Collections with MapReduce.Proceedings of ACL-08: HLT, Short Papers (Companion Volume),2008,pp: 265–268. 原书参考条目 16 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。
[6] H. Li, Learning to Rank. ACML 2009 Tutorial. 2009. 原书参考条目 16 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。
[7] C. J.C. Burges, K. M. Svore, P. N. Bennett, A.Pastusiak, and Q. Wu.Learning to Rank using an Ensemble of Lambda-Gradient Models.Journal of Machine Learning Research: Workshop and Conference Proceedings,2011. 原书参考条目 16 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。
[8] C. J. C.Burges. 2010. FromRankNet to LambdaRank to LambdaMART: An Overview. TechnicalReport MSR-TR-2010-82. Microsoft Research,2010. 原书参考条目 16 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。
[9] R.Bekkerman,M.Bilenko and J. Langford. Scaling Up Machine Learning: Parallel and Distributed Approaches. Cambridge University Press, 2012. 原书参考条目 16 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。
[10] U.V.Luxburg. A Tutorial on Spectral Clustering. Statistics and Computing, 2007,17 (4). 原书参考条目 16 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。
[11] W.Y. Chen, Y. Song, H.Bai, C.J. Lin, E. Y. Chang.Parallel Spectral Clustering in Distributed Systems.IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(3),pp:568-586. 原书参考条目 16 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。
[12]张俊林.大规模SNS中兴趣圈子的自动挖掘.2012.http://www.infoq.com/cn/articles/zjl-sns-automatic-mining. 原书参考条目 16 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。
[13] Andrew Ng. Deep Learning Tutorial.http://ufldl.stanford.edu/wiki/index.php/UFLDL_Tutorial 原书参考条目 16 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。
[14] D. Li. A Tutorial Survey of Architectures, Algorithms, and Applications for Deep Learning.APSIPA Transactions on Signal and Information Processing. 2012. 原书参考条目 16 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。
[15] G. Hinton,S. Osindero andY. Teh.A fast learning algorithm for deep belief nets.Neural Computing, 2006,18: 1527–1554. 原书参考条目 16 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。
[16] G. Hinton and R.Salakhutdinov. Reducing the dimensionality of data with neural networks. Science, 2006,313 (5786): 504–507. 原书参考条目 16 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。
[17] J. Dean. etc. Large Scale Distributed Deep Networks. NIPS 2012: Neural Information Processing Systems, 2012. 原书参考条目 16 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。
[1] D. Peng and F. Dabek. Large-scale incremental processing using distributed transactions and notifications. In USENIX Symposium on Operating Systems Design and Implementation, 2010. 原书参考条目 17 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。
[2] R.Cheng, J. Hong, A. Kyrola, Y. Miao, X.Weng, M. Wu, F. Yang, L. Zhou, F. Zhao, and E. Chen. Kineograph: taking the pulse of a fast-changing and connected world. In The European Conference on Computer Systems, 2012, pp: 85–98. 原书参考条目 17 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。
[3] P.Bhatotia, A.Wieder, I.E.Akkus, R. R.Umut and A. Acar. Large-scale Incremental Data Processing with Change Propagation. Proceedings of the 9th USENIX conference on Operating systems design and implementation,2010. 原书参考条目 17 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。
[4] D. Logothetis, C. Olston, B. Reed, K. C. Webb, and K. Yocum. Stateful bulk processing for incremental analytics.In Proceeding of SOCC’10, 2010. 原书参考条目 17 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。
[5] P. Bhatotia, A. Wieder, R. Rodrigues, U. A. Acar, and R. Pasquin. Incoop: Mapreduce for incremental computations. In Proceeding of SOCC’11, 2011. 原书参考条目 17 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。
[6] F. McSherry, D. G. Murray, R. Isaacs, and M. Isard. Differential dataflow.In Proceeding of CIDR’13, 2013. 原书参考条目 17 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。
[7] C. Yan, X. Yang, Z. Yu, M. Li, and X. Li. Incmr: Incremental data processing based on mapreduce. In Proceeding of CLOUD’12, 2012. 原书参考条目 17 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明
转账半成功破坏守恒 转账半成功破坏守恒 转账使用原子事务 原书银行转账原子性算例,非真实线上事故,未补造跨系统实现。
点击计费怕漏算与重算 点击计费怕漏算与重算 点击计数需原子去重 12 传输次数被当成业务事件次数,去重身份与状态提交未处于一致边界
两步转账中断会破坏总额 两步转账中断会破坏总额 主记录提交保护转账原子性 17 两账户变更缺少跨行原子提交边界,扣款成功后加款未发生

具体风险来自书中教学流程和代码;补充方案均写明保证范围,不宣称生产事故已发生或全部竞态已被解决。

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
001 读LevelDB的LSM写读路径 实现深读 done 03 ideas/idea-001-读LevelDB的LSM写读路径.md;ideas/materials/leveldb-lsm-first-pass.md
002 布隆过滤器源码与实测计划 实现深读 done 03 ideas/idea-002-实测布隆过滤器误判率.md;ideas/materials/bloom-source-test-first-pass.md

实践候选筛选:done

保留两个有真实成熟实现的具体候选:LSM链路与Bloom源码/测试,各回答独立问题。分布式训练、图处理和增量计算缺少真实部署与任务目标,避免另造平台或通用性能实验;其机制保留知识卡。

已核验LevelDB官方1.23标签、实际读取源码/测试段并填写两份首轮映射;完整源码深读与后续实验未执行,无测量结果。

本次交接

本书历史76知识卡,本轮保留原文件路径、ID和已有编号,依据当前原文和必要原图完整读取;历史第0、6、7章与附录的略读/0卡不充当本轮覆盖。不同章节重复机制通过真实secondary来源或正文链接汇合,不按篇幅凑数;原书错误和案例保证范围见具体章节。light未执行生成后复核、独立审查与审查结果优化,实践只完成计划和首轮材料。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

主题索引

存储模型选型

比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。

699 张卡片 · 63 本书

主题索引

分布式存储与复制

比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。

501 张卡片 · 64 本书

主题索引

分布式共识与领导者选举

比较分布式共识、领导者选举、副本数量与一致性模型的可靠性取舍。

376 张卡片 · 41 本书

主题索引

容量规划与资源调度

比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。

344 张卡片 · 74 本书

主题索引

时空效率与复杂度分析

比较渐近复杂度、摊销分析、基准测试以及以抽象换空间、局部性等时间与空间效率的权衡。

333 张卡片 · 17 本书

主题索引

分布式事务与一致性

比较内部与外部一致性、XA/2PC/3PC、CAP 与 BASE,以及可靠事件队列、TCC、SAGA、AT 等柔性事务方案。

308 张卡片 · 61 本书

主题索引

远程调用与REST设计

比较 RPC 要解决的基本问题与历代框架取舍,以及 REST 的资源抽象、统一接口、成熟度与局限。

303 张卡片 · 53 本书

主题索引

一致性模型与CAP权衡

比较顺序一致性、线性一致性、外部一致性等一致性模型,以及 CAP、弱 CAP、HAT、PACELC 对系统取舍的刻画。

193 张卡片 · 49 本书

主题索引

系统扩展的维度

比较水平复制、按业务拆分与数据分片等不同维度的扩展手段及其适用问题。

134 张卡片 · 52 本书

主题索引

大数据营销、广告与征信应用

比较大数据在用户画像、个性化营销、程序化广告与实时竞价、大数据征信中的方法、数据来源与风险。

108 张卡片 · 12 本书

主题索引

存储常用数据结构

比较布隆过滤器、跳表、LSM 树、Merkle 树、Cuckoo 哈希等在存储系统中以空间或精度换效率的数据结构。

108 张卡片 · 30 本书

主题索引

流处理模型与语义:拓扑、分组与时间

把流当成持续计算来看:拓扑与算子、无界与有界的区别、分组与重分区、键与时间的语义、CEP 与关联操作,以及批流合一与 Lambda/Kappa 的取舍。

105 张卡片 · 25 本书

主题索引

数据集成与分拆:一份真源与多份衍生

多个数据系统怎样连成一套:分拆数据库与读写路径、CDC 与日志捕获、双写与发件箱、数据共享与缓存复制、数据湖与湖仓分工、端到端正确性与可审计性。

103 张卡片 · 23 本书

主题索引

Lambda架构与数据系统分层

比较以不可变主数据、批处理层、服务层与速度层构建数据系统的思路,以及重算、增量与视图合并的取舍。

83 张卡片 · 17 本书

主题索引

倒排索引与查询处理

比较全文检索的索引粒度、倒排列表压缩、签名文件与位图、布尔查询加速与索引构造算法,以及压缩索引如何同时省空间和提速。

80 张卡片 · 19 本书

主题索引

批处理与 DAG:MapReduce 的代价与图执行

批量计算的执行模型:Map 与 Reduce 的边界、Shuffle 为什么是成本中心、本地性与重算代价、DAG 怎样突破两阶段落盘、作业链与调度怎样编排,以及 MapReduce 这类模型能解决与不能解决的边界。

73 张卡片 · 19 本书

主题索引

Spark内核执行机制

Spark Core 从 SparkContext、RPC、存储体系、内存管理到 DAG/Task 调度、Shuffle 与容错恢复的内部机制与取舍。

65 张卡片 · 6 本书

主题索引

交互式查询与 MPP:把计算压到数据附近

面向交互式分析的执行引擎:列存与分区裁剪、查询编译与向量化执行、重分布连接与并行度、MPP 与混合数仓、Presto 式连接器解耦,以及预计算能省下多少。

61 张卡片 · 8 本书

主题索引

经典算法与业务建模

分类、聚类、关联规则、主题模型、集成方法与矩阵分解各自的适用边界,以及推荐、征信、CTR 等业务场景里多模型怎样组合、为什么要看查准查全而不是只看准确率。

60 张卡片 · 12 本书

主题索引

状态与容错:状态存哪、错了怎么恢复

有状态流处理的存储与恢复:键控状态与算子状态、本地与外部状态、变更日志与检查点、精确一次与幂等、ACK 与重放、状态规模爆炸与迁移重建。

58 张卡片 · 8 本书

主题索引

训练并行策略

数据并行、模型并行、流水线并行的切分对象与通信代价,DP/DDP/Horovod 的等价性与主卡瓶颈,同步与异步训练的收敛取舍,以及联邦学习在数据不出域时怎么组织联合训练。

58 张卡片 · 3 本书

主题索引

批处理作业的写法:连接、聚合与作业抽象

同一批数据要算成什么:分组与归约怎样切、连接在 Map 侧还是 Reduce 侧做、排序与抽样怎样只走一遍、作业图怎样抽象成可复用的片段(管道图、宏、组合聚合),以及这些写法的代价与边界。

57 张卡片 · 8 本书

主题索引

框架与集成:Storm、Spark 与消息系统怎么接

具体框架的执行模型与接入方式:Storm 拓扑与调优、Spark Streaming 的 RDD 与 DStream 微批、Kafka Streams 的表流对偶、Flume 管道,以及各框架的语义边界与已知坑。

54 张卡片 · 12 本书

主题索引

线性模型与优化算法

从最小二乘与线性/逻辑回归出发,梯度下降、随机梯度、牛顿法、AdaGrad/RMSProp 各自在改什么;L1/L2 惩罚为什么是不同目标;在线学习与专家算法(Hedge、乘性权重、遗憾界)如何在只有过去反馈时更新。

40 张卡片 · 4 本书

主题索引

训练运行时与迭代引擎

TensorFlow 的集群三层、Session/Strategy、变量分片与远程执行怎样把一张图铺到多机;Spark/RDD、Twister、MR 与 MPI 混合怎样支撑迭代计算;MLLib 的 Pipeline 抽象与库能力边界。

33 张卡片 · 7 本书

主题索引

学习范式与泛化边界

监督、无监督、强化、在线四类学习方式各自依赖什么假设;把学习写成「假设—损失—优化」之后,泛化、过拟合、维数灾难与评估口径怎么定义,以及一个业务问题该先定分类目标还是先选算法。

31 张卡片 · 12 本书

主题索引

图计算:切分、BSP 与迭代

以图为一等对象的计算怎么做:图为什么和存储耦合、点切与边切怎么权衡、顶点中心编程与消息传递、BSP 超级步与同步异步取舍、迭代代价与检查点,以及连通分量、二度关联这类图算法的落地方式。

30 张卡片 · 6 本书

主题索引

相关性排序与检索评价

比较TF-IDF、向量空间模型与相关性反馈等排序依据,以及召回率与精确率在不同检索场景中的取舍。

30 张卡片 · 9 本书

主题索引

增量计算:只算变化的那一部分

从全量重算转向增量维护:变化怎样传播、结果缓存与复用条件、物化视图的维护成本、Percolator 式快照与提交、观察通知与传播阈值,以及省计算为什么不等于省延迟。

27 张卡片 · 5 本书

主题索引

大数据平台:分层、湖仓与引擎选型

这些计算跑在什么上面:大数据的边界怎么定义、平台分几层(存储/计算/调度/资源)、数据湖与湖仓的分工、批流查询引擎各自的位置与切换条件,以及平台从集群到云服务的演进。

25 张卡片 · 13 本书

主题索引

人机对话系统设计

比较任务型、问答型、闲聊型对话的语义表示、意图与参数、多轮语境与澄清、检索与知识、训练回流与对话平台化设计。

24 张卡片 · 3 本书

主题索引

神经网络基础单元与训练

从 MP 模型、感知器、ADALINE、Hebb、Hopfield 到 RBF、RBM、玻尔兹曼机,网络怎样从线性判别走到可训练的多层;反向传播、激活函数、逐层预训练、Dropout、梯度弥散各解决什么问题。

24 张卡片 · 2 本书

主题索引

参数服务器与同步宽松度

参数服务器的三角色与两层结构,SSP 用陈旧度下界放宽同步、VAP 限制增量传播;参数分片、缓存新鲜度、拉推周期与二维切分怎样决定训练吞吐,以及宽松同步为什么不自动保证收敛。

22 张卡片 · 4 本书