主题索引
存储模型选型
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
来源书籍
整体评级:信息浓度高,稳定性高,经典原理。全书以问题、机制和权衡串联分布式系统、存储及并行分析,适合建立整体技术地图;2014年产品能力、硬件数量级、性能排名和生态预测保留历史范围,代码与数学示例中的错误不照录为保证。
执行模式:light
建档进度:done
本次实际规则:book-notes v23 / book-workflow v4;历史仅预检和逐候选暂停由当前完整流程授权覆盖,不将历史已读当本轮全文完成。
原书身份:张俊林著,电子工业出版社,2014年9月第1版,ISBN9787121241536;当前EPUB版权页与封面已实际核对。
原文来源:books/架构归档3/大数据日知录_架构与算法.epub;SHA-256 e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d;当前426 ZIP成员逐一匹配,26spine本轮完整阅读。
整书笔记:_book_note.md(schema 1;SHA-256 d68e8e2118a6fe7160fc88ad2558983ad688dd6d194db48f30f5e86d102bff47)。
| 章节号 | 章节标题 | 状态(pending/done) | 卡片数 |
|---|---|---|---|
| 前置2 | 内容简介 | done | 0 |
| 前置4 | 前言 | done | 0 |
| 0 | 第0章 大数据概述 | done | 10 |
| 1 | 第1章 数据分片与路由 | done | 9 |
| 2 | 第2章 数据复制与一致性 | done | 27 |
| 3 | 第3章 大数据常用的算法与数据结构 | done | 17 |
| 4 | 第4章 集群资源管理与调度 | done | 15 |
| 5 | 第5章 分布式协调系统 | done | 17 |
| 6 | 第6章 分布式通信 | done | 20 |
| 7 | 第7章 数据通道 | done | 12 |
| 8 | 第8章 分布式文件系统 | done | 40 |
| 9 | 第9章 内存KV数据库 | done | 11 |
| 10 | 第10章 列式数据库 | done | 24 |
| 11 | 第11章 大规模批处理系统 | done | 23 |
| 12 | 第12章 流式计算 | done | 26 |
| 13 | 第13章 交互式数据分析 | done | 36 |
| 14 | 第14章 图数据库:架构与算法 | done | 44 |
| 15 | 第15章 机器学习:范型与架构 | done | 33 |
| 16 | 第16章 机器学习:分布式算法 | done | 35 |
| 17 | 第17章 增量计算 | done | 20 |
| 附A | 附录A 分布式系统常用硬件性能指标 | done | 3 |
| 附B | 附录B 延伸阅读 | done | 2 |
附录文件编号:卡片文件ch18/ch19分别对应原书附录A/附录B,仅为兼容文件编号;原书正文仍为第0–17章。
| spine项 | 类型 | 排除理由 |
|---|---|---|
| 0 / OEBPS/cover1.html | 封面 | 封面、重复扉页或目录导航,已完整读取;身份信息纳入概览,不作为独立技术正文 |
| 1 / OEBPS/text00000.html | 扉页 | 封面、重复扉页或目录导航,已完整读取;身份信息纳入概览,不作为独立技术正文 |
| 3 / OEBPS/text00002.html | 版权信息 | 版权与出版书目信息已完整读取并用于概览身份核对,不是独立技术正文 |
| 5 / OEBPS/text00004.html | 目录 | 封面、重复扉页或目录导航,已完整读取;身份信息纳入概览,不作为独立技术正文 |
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| Oracle | 0 | 关系数据库历史背景提名 |
| Cloudera | 0 | Hadoop生态企业背景,未独立解释实现 |
| MapR | 0 | 生态公司提名 |
| HortonWorks | 0 | 生态公司提名 |
| Dropbox | 0 | 商业应用用途示例,未展开文件同步技术;见第0章整书笔记 |
| Flume | 7 | 日志系统提名,未独立展开机制 |
| Zillabyte | 0 | 企业分析工具商业例子,未展开算法实现 |
| Decide.com | 0 | 消费价格趋势分析的商业例子,未给模型与验证数据 |
| Accrual Failure Detectors | 附B | Cassandra点评仅提名此故障检测方法,未展开算法,不补造实现 |
| Cassandra | 01 | ey-value,键值)存储系统都支持这种方式,其中包括Dynamo、Cassandra、Riak、Voldmort、Membase等。相对应地,范围分片的系统则既可以支持点查询也可以支持范围查询,采取范围分片的系统包括Goog;仅系统提名或应用例,不据此另造机制卡。 |
| Riak | 01 | 值)存储系统都支持这种方式,其中包括Dynamo、Cassandra、Riak、Voldmort、Membase等。相对应地,范围分片的系统则既可以支持点查询也可以支持范围查询,采取范围分片的系统包括Google的Bi;仅系统提名或应用例,不据此另造机制卡。 |
| Voldmort | 01 | 统都支持这种方式,其中包括Dynamo、Cassandra、Riak、Voldmort、Membase等。相对应地,范围分片的系统则既可以支持点查询也可以支持范围查询,采取范围分片的系统包括Google的BigTable和微软;仅系统提名或应用例,不据此另造机制卡。 |
| Membase | 01 | 其中包括Dynamo、Cassandra、Riak、Voldmort、Membase等。相对应地,范围分片的系统则既可以支持点查询也可以支持范围查询,采取范围分片的系统包括Google的BigTable和微软的Azure等系;仅系统提名或应用例,不据此另造机制卡。 |
| PNUTS | 01 | 和微软的Azure等系统,但也有系统同时提供两种方式,比如Yahoo的PNUTS系统。 1.2 哈希分片(Hash Partition) 通过哈希函数来进行数据分片是常见手段,其中最常见的3种哈希分片方式分别是:Roun;仅系统提名或应用例,不据此另造机制卡。 |
| BigTable | 01 | 可以支持点查询也可以支持范围查询,采取范围分片的系统包括Google的BigTable和微软的Azure等系统,但也有系统同时提供两种方式,比如Yahoo的PNUTS系统。 1.2 哈希分片(Hash Partition) 通;仅系统提名或应用例,不据此另造机制卡。 |
| Azure | 01 | 范围查询,采取范围分片的系统包括Google的BigTable和微软的Azure等系统,但也有系统同时提供两种方式,比如Yahoo的PNUTS系统。 1.2 哈希分片(Hash Partition) 通过哈希函数来进行数;仅系统提名或应用例,不据此另造机制卡。 |
| MegaStore | 02 | 则,这样就可以吸取两者各自的好处,在两者之间建立平衡,从Google的MegaStore便可以看出这种发展趋势。 2.1.5 CAP/ACID/BASE三者的关系 ACID和BASE原则是在明确提出CAP理论之前关于如何对待可用;仅系统提名或应用例,不据此另造机制卡。 |
| Kafka | 02 | 数据,然后即可确认更新操作完成,其他副本通过异步方式获得更新,消息系统Kafka在维护数据副本一致性时即采取此种混合方式。在这种情形下,请求延时和一致性之间的权衡也是取决于以下两种读操作的响应方式。 1.如果读操作的数据;仅系统提名或应用例,不据此另造机制卡。 |
| Riak | 02 | 类型B类似的问题。 在实际的系统中,Dynamo/Cassandra/Riak同时采取了“主从式更新”的类型C以及“任意节点更新”策略。在正常情况下,“主从式更新”的类型C起作用,当主副本发生故障的情况下,则启用了“任;仅系统提名或应用例,不据此另造机制卡。 |
| Cassandra | 02 | “主从式更新”策略的类型B类似的问题。 在实际的系统中,Dynamo/Cassandra/Riak同时采取了“主从式更新”的类型C以及“任意节点更新”策略。在正常情况下,“主从式更新”的类型C起作用,当主副本发生故障的情况下,则;仅系统提名或应用例,不据此另造机制卡。 |
| Viewstamped Replication | 02 | Barbara Liskov and James Cowling. Viewstamped Replication Revisited. MIT technical report MIT-CSAIL-TR-2012-021,2012. [14] Flav;仅系统提名或应用例,不据此另造机制卡。 |
| Zab | 02 | amin C. Reed and USAMarco Serafin. Zab: High-performance broadcast for primary-backup systems. 2011 IEEE/IFI;仅系统提名或应用例,不据此另造机制卡。 |
| Generalized Consensus | 02 | 001) 51-58. 2001. [10] L. Lamport, Generalized Consensus and Paxos, tech. report MSR-TR-2005-33, Microsoft Research, 2005; ftp;仅系统提名或应用例,不据此另造机制卡。 |
| Fast Paxos | 02 | 33.pdf. 2005. [11] Leslie Lamport. Fast Paxos. Distributed Computing 19, 2 (October 2006) 79-103.2006. [12] Paxos. ;仅系统提名或应用例,不据此另造机制卡。 |
| Chrome | 03 | 广泛的使用,尤其是数据量极大且容忍一定误判率的场合。比如Google Chrome浏览器使用它进行恶意URL的判断;网络爬虫使用它对已经爬取过的URL进行判断;缓存使用BF来对海量数据进行查找;比特币使用BF对历史交易进行;仅系统提名或应用例,不据此另造机制卡。 |
| MillWheel | 03 | andra在实现时也采取了类似思路。 此外,Google的流式计算系统MillWheel在保证数据记录“恰好送达一次”语义时对重复记录的检测也采用了类似BigTable的BF用法。除此之外,还有很多类似的应用场景,此处不再赘述。;仅系统提名或应用例,不据此另造机制卡。 |
| RAMCloud | 03 | M树,基于Flash的海量存储系统SILT也采用了LSM树,内存数据库RAMCloud同样采用了这个数据结构。除此之外还有很多系统都采用LSM树,比如Cassandra、LevelDB等。 下面以LevelDB的LSM树结构来;仅系统提名或应用例,不据此另造机制卡。 |
| Lucene | 03 | s在实现Sorted Set数据结构时采用的也是SkipList,再如Lucene中也使用SkipList来对倒排列表进行快速查找。因这三者实现思路基本遵循经典SkipList的实现方式,所以本节不另行介绍其技术细节。 我;仅系统提名或应用例,不据此另造机制卡。 |
| SILT | 03 | e中的单机数据存储引擎本质上就是LSM树,基于Flash的海量存储系统SILT也采用了LSM树,内存数据库RAMCloud同样采用了这个数据结构。除此之外还有很多系统都采用LSM树,比如Cassandra、LevelD;仅系统提名或应用例,不据此另造机制卡。 |
| Cassandra | 03 | le文件中的记录会无法找到,这意味着读操作的失败,很明显这是不允许的。Cassandra在实现时也采取了类似思路。 此外,Google的流式计算系统MillWheel在保证数据记录“恰好送达一次”语义时对重复记录的检测也采用了类;仅系统提名或应用例,不据此另造机制卡。 |
| Avro | 03 | 成至各种开源系统中,比如Hadoop、HBase、Cassandra、Avro等都将其集成进入系统。 数据压缩与解压缩本质上是通过增加CPU计算时间成本来换取较小的存储成本,以及网络和I/O传输成本。如果只是追求存储成;仅系统提名或应用例,不据此另造机制卡。 |
| Corona | 04 | 抽象模型 本节从现有的各种资源管理与调度系统中(YARN、Mesos、Corona、Quincy等)抽象出两个模型:资源管理的概念模型和通用架构。大部分资源管理系统都符合这两个抽象模型,但在具体实现细节上会有所不同。 4.;仅系统提名或应用例,不据此另造机制卡。 |
| Quincy | 04 | 从现有的各种资源管理与调度系统中(YARN、Mesos、Corona、Quincy等)抽象出两个模型:资源管理的概念模型和通用架构。大部分资源管理系统都符合这两个抽象模型,但在具体实现细节上会有所不同。 4.1.1 概念模;仅系统提名或应用例,不据此另造机制卡。 |
| Maui | 04 | 源管理与调度,这种类型调度器在高性能计算系统(HPC)中非常常见,比如Maui以及Moab等系统都采用此种方式。这种方式的基本调度逻辑都是采用融合多种考虑因素来综合计算每个任务的优先级,然后按照任务的优先级来进行后续调;仅系统提名或应用例,不据此另造机制卡。 |
| Moab | 04 | ,这种类型调度器在高性能计算系统(HPC)中非常常见,比如Maui以及Moab等系统都采用此种方式。这种方式的基本调度逻辑都是采用融合多种考虑因素来综合计算每个任务的优先级,然后按照任务的优先级来进行后续调度与资源分配;仅系统提名或应用例,不据此另造机制卡。 |
| lmctfy | 04 | 用的资源。 Google在2013年开源了自己开发使用的Linux容器lmctfy系统,这是Google的大规模资源管理系统Borg和Omega的重要组成部分,类似的项目还有Cloud Foundry的Warden。 4.;仅系统提名或应用例,不据此另造机制卡。 |
| Warden | 04 | 和Omega的重要组成部分,类似的项目还有Cloud Foundry的Warden。 4.3 资源管理与调度系统范型 目前有多种实现资源管理与调度功能的实际系统,如果根据其宏观运行机制的不同进行分类,可以归纳出3种资源管理;仅系统提名或应用例,不据此另造机制卡。 |
| Storm | 04 | 经有很多大数据计算框架已经移植到YARN平台下,比如MR、流式计算系统Storm和Samza、图计算系统Giraph、DAG计算系统Tez等,相信越来越多的计算框架会逐步移植到YARN上,使得YARN成为一个名副其实的支;仅系统提名或应用例,不据此另造机制卡。 |
| Samza | 04 | 据计算框架已经移植到YARN平台下,比如MR、流式计算系统Storm和Samza、图计算系统Giraph、DAG计算系统Tez等,相信越来越多的计算框架会逐步移植到YARN上,使得YARN成为一个名副其实的支持多种大数据;仅系统提名或应用例,不据此另造机制卡。 |
| Giraph | 04 | ARN平台下,比如MR、流式计算系统Storm和Samza、图计算系统Giraph、DAG计算系统Tez等,相信越来越多的计算框架会逐步移植到YARN上,使得YARN成为一个名副其实的支持多种大数据计算框架的基础资源管理平;仅系统提名或应用例,不据此另造机制卡。 |
| Tez | 04 | 计算系统Storm和Samza、图计算系统Giraph、DAG计算系统Tez等,相信越来越多的计算框架会逐步移植到YARN上,使得YARN成为一个名副其实的支持多种大数据计算框架的基础资源管理平台。 参考文献 [1];仅系统提名或应用例,不据此另造机制卡。 |
| GFS | 05 | 时将自己维护的内存数据进行快照操作并将快照内容存储到另外一个数据中心的GFS文件系统中;之所以要放到另外一个数据中心,是因为本数据中心的GFS节点依赖这个Chubby单元选举主节点,这样可以避免循环依赖的问题。 在G;仅系统提名或应用例,不据此另造机制卡。 |
| BigTable | 05 | FS文件系统中,Chubby被用来选举哪台服务器作为“主控服务器”。在BigTable中,则在多处使用该系统:选举“主控服务器”;“主控服务器”用此服务来发现其他数据存储服务器;客户端程序根据Chubby找到“主控服务器”以及;仅系统提名或应用例,不据此另造机制卡。 |
| HBase | 05 | 的开源系统使用ZooKeeper的具体应用场景。 ZooKeeper在HBase的使用场景包括主控服务器选举与主备切换,作为配置管理在ZooKeeper中存储系统启动信息,发现新的子表服务器及侦测子表服务器是否依然存活等;仅系统提名或应用例,不据此另造机制卡。 |
| Storm | 05 | 表服务器及侦测子表服务器是否依然存活等。 Twitter的流式计算系统Storm利用ZooKeeper作为主控进程和工作进程状态信息存储场所,使得即使系统出现故障,也可以将进程快速切换到备份机运行。 资源管理系统Meso;仅系统提名或应用例,不据此另造机制卡。 |
| Mesos | 05 | 使得即使系统出现故障,也可以将进程快速切换到备份机运行。 资源管理系统Mesos利用ZooKeeper对主控服务器进行领导者选举与主备机器自动切换,避免主控服务器单点失效。 Yahoo的Pub-Sub消息服务系统Hedw;仅系统提名或应用例,不据此另造机制卡。 |
| Hedwig | 05 | 切换,避免主控服务器单点失效。 Yahoo的Pub-Sub消息服务系统Hedwig也在多处使用了ZooKeeper,其中包括存储配置文件、消息话题(Topic)的领导者选举及自动发现新加入成员等。 SolrCloud作为利;仅系统提名或应用例,不据此另造机制卡。 |
| SolrCloud | 05 | 配置文件、消息话题(Topic)的领导者选举及自动发现新加入成员等。 SolrCloud作为利用Solr和ZooKeeper构建的分布式搜索集群,也在多处使用了ZooKeeper,包括索引文件的配置信息存储、集群状态信息的存储及;仅系统提名或应用例,不据此另造机制卡。 |
| Kafka | 05 | 及集群成员机器发现与管理等。 LinkedIn的Pub-Sub消息系统Kafka在以下场景使用ZooKeeper:自动发现新添加的消息服务器(Broker)和消息消费者(Consumer);在消息服务器间进行自动负载均衡;仅系统提名或应用例,不据此另造机制卡。 |
| Katta | 05 | 存消费者和消息队列的映射关系及消费者当前消费信息在消息队列的位置等。 Katta是搭建在Lucene之上的可扩展分布式索引系统,它使用ZooKeeper来做主控服务器和索引服务器的成员自动管理及任务分配,使用领导者选举来;仅系统提名或应用例,不据此另造机制卡。 |
| HBase | 8 | 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。 |
| Hive | 8 | 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。 |
| Impala | 8 | 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。 |
| Dremel | 8 | 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。 |
| Colossus | 8 | 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。 |
| MDS | 8 | 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。 |
| GPS | 8 | 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。 |
| SSD | 9 | 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。 |
| Redis Cluster | 9 | 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。 |
| Sentinel | 9 | 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。 |
| LevelDB | 9 | 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。 |
| Chubby | 10 | 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。 |
| Schema | 10 | 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。 |
| Atomic Clock | 10 | 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。 |
| Location Proxy | 10 | 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。 |
| Placement Driver | 10 | 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。 |
| BadRank | 11 | 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。 |
| Stinger | 11 | 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。 |
| Pig | 11 | 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。 |
| Hive | 11 | 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。 |
| FlumeJava | 11 | 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。 |
| Tez | 11 | 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。 |
| D-Stream | 12 | 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。 |
| Hadoop Online | 12 | 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。 |
| MUPD8 | 12 | 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。 |
| Flux | 12 | 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。 |
| Aurora | 12 | 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。 |
| Borealis | 12 | 机制已在对应架构/操作卡中解释或仅作同类系统、引用与背景提名;未补造无原文细节的独立产品卡。 |
| Pig、Tajo、Drill、Tenzing | 13 | 本章多数仅在背景或参考文献提名,未展开机制,不按产品名机械留卡 |
| FlockDB、Gizzard、Gizzmo | 14 | 原书仅简述三层组成及分布管理职责,纳入在线结构讲解,不扩成未展开源码卡 |
| HAMA、Neo4j | 14 | 主要提名和时代产品判断,不据旧文宣称当前活跃度或规模限制 |
| 最大流、匈牙利算法 | 14 | 列为最大匹配的其他解法,未展开过程,仅注册 |
| MPI/GPU | 16–17 | 本章明确未展开;历史容量与局限不作为现行结论。 |
| Creative | 16 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| BidPrice | 16 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| User-based KNN | 16 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| Item-based KNN | 16 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| Mahout | 16 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| Tikhonov | 16 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| MRR | 16 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| MAP | 16 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| NDCG | 16 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| ERR | 16 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| Min-Cut | 16 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| Min-Max Cut | 16 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| Ratio Cut | 16 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| PARPACK | 16 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| ARPACK | 16 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| MPI | 16 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| GMM | 16 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| HMM | 16 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| CRF | 16 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| MaxEnt | 16 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| SVM | 16 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| RBM | 16 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| DBN | 16 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| De-noising Auto-encoder | 16 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| Contractive Auto-encoders | 16 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| Sparse Encoding Symmetric Machine | 16 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| Adagrad | 16 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| CBP | 17 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| Incoop | 17 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| IncMR | 17 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| Caffeine | 17 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| Progress Table | 17 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| Snapshooter | 17 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| Fingerprint | 17 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| Differential dataflow | 17 | 已按具体算法背景或引用登记;正文只提名的比较对象不补造完整机制。核心已解释者随相关卡保留。 |
| 标题 | 类型(书/论文/框架/源码项目) | 出现章节 | 一句话语境 |
|---|---|---|---|
| Protocol Buffer. http://code.google.com/p/protobuf/. | 原书章末参考 | 6 | 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读 |
| Apache Thrift. http://thrift.apache.org/. | 原书章末参考 | 6 | 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读 |
| Apache Avro. http://avro.apache.org/. | 原书章末参考 | 6 | 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读 |
| Apache Avro Specification. http://avro.apache.org/docs/current/spec.html. | 原书章末参考 | 6 | 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读 |
| ActiveMQ. http://activemq.apache.org/. | 原书章末参考 | 6 | 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读 |
| ZeroMQ. http://zeromq.org/. | 原书章末参考 | 6 | 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读 |
| RabbitMQ. http://www.rabbitmq.com/. | 原书章末参考 | 6 | 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读 |
| Apache Kafka. http://kafka.apache.org/documentation.html#design. | 原书章末参考 | 6 | 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读 |
| Jay Kreps, Neha Narkhede, Jun Rao. Kafka: a Distributed Messaging System for Log Processing. NetDB’11, Jun. 12, 2011, Athens, Greece. | 原书章末参考 | 6 | 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读 |
| Twitter Kestrel. https://github.com/twitter/kestrel/blob/master/docs/guide.md. | 原书章末参考 | 6 | 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读 |
| Alberto Montresor. Gossip protocols for large-scale distributed systems.Tech Report. 2010. http://sbrc2010.inf.ufrgs.br/resources/presentations/tutorial/tutorial-montresor.pdf. | 原书章末参考 | 6 | 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读 |
| Alan Demers et al. Epidemic algorithms for replicated database maintenance. In Proc. of the 6th ACM Symposium on Principles of Distributed Computing(PODC’87), 1–12, ACM Press. | 原书章末参考 | 6 | 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读 |
| Cassandra源码解析.http://blog.csdn.net/firecoder/article/details/5707539. | 原书章末参考 | 6 | 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读 |
| Apache Flume. http://flume.apache.org/. | 原书章末参考 | 7 | 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读 |
| Scribe日志收集系统介绍。http://dongxicheng.org/search-engine/scribe-intro/. | 原书章末参考 | 7 | 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读 |
| Scribe源码。https://github.com/facebook/scribe. | 原书章末参考 | 7 | 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读 |
| Apache Chukwa. http://chukwa.apache.org/. | 原书章末参考 | 7 | 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读 |
| Jerome Boulon etc. Chukwa: A system for reliable large-scale log collection. Tech Report.2010. | 原书章末参考 | 7 | 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读 |
| Databus: LinkedIn’s Change Data Capture Pipeline. SOCC 2012. http://www.slideshare.net/ShirshankaDas/databus-socc-2012. | 原书章末参考 | 7 | 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读 |
| Databus. LinkedIn Data Infrastructure (QCon London 2012). http://www.slideshare.net/r39132/linkedin-data-infrastructure-qcon-london-2012. | 原书章末参考 | 7 | 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读 |
| Databus源码。https://github.com/linkedin/databus. | 原书章末参考 | 7 | 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读 |
| Wormhole. Facebook Blog. https://www.facebook.com/notes/facebook-engineering/wormhole-pubsub-system-moving-data-throug h-space-and-time/10151504075843920. | 原书章末参考 | 7 | 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读 |
| Kathleen Ting and Alexander Alten-Lorenz. Apache Sqoop:Highlights of Sqoop 2. 2012. | 原书章末参考 | 7 | 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读 |
| Apache Sqoop. http://sqoop.apache.org/. | 原书章末参考 | 7 | 原书实际列出的文献或项目入口;未据此宣称已逐篇阅读 |
| L. Lamport. Paxos Made Simple. ACM SIGACT News (Distributed Computing Column), 2001, 32(4):51-58. | 原书附录推荐文献或项目 | 附B | 本书推荐点评已全文阅读;该段强调Paxos影响和阅读优先级,未展开新的安全性推导;作为论文参考登记,不以名气追加知识卡。 |
| Diegn. Ongaro and John Ousterhout. In Search of an Understandable Consensus Algorithm.Tech Report. 2013. | 原书附录推荐文献或项目 | 附B | 本书推荐点评已全文阅读;Raft把可理解性和实现细节的确定性作为设计目标,提醒选型不只比较抽象功能,也要评估实施时能否清楚处理边界。 |
| G. DeCandia, D. Hastorun, M. Jampani, G. Kakulapati, A. Lakshman, A. Pilchin, S. Sivasubramanian, P. Vosshall, and W. Vogels. Dynamo: amazon’s highly available key-value store. Proceedings of ACM symposium on Operating systems principles, 2007,pp: 205-220. | 原书附录推荐文献或项目 | 附B | 本书推荐点评已全文阅读;Dynamo把一致性哈希、反熵、Merkle树、向量时钟及读写仲裁组合为实用KV系统。组成技术并非各自新发明,价值还在协同组织及对复杂P2P管理的取舍。 |
| Mongodb. http://www.mongodb.org/ | 原书附录推荐文献或项目 | 附B | 本书推荐点评已全文阅读;此处以流行和适用范围推荐MongoDB,没有补充独立实现机制;市场地位限于原书时期,登记项目参考。 |
| J. Ousterhout et al. The Case for RAMClouds: Scalable High-Performance Storage Entirely in DRAM. ACM Special Interest Group on Operating Systems, 2009. | 原书附录推荐文献或项目 | 附B | 本书推荐点评已全文阅读;RAMCloud用内存保存服务数据,并借助外存备份平衡成本与恢复能力;低延迟目标不能脱离网络、恢复及备份约束来解释。 |
| Redis. http://redis.io/ | 原书附录推荐文献或项目 | 附B | 本书推荐点评已全文阅读;Redis推荐点评强调单机效率和灵活数据结构,分布式部分的不足是原书年代评价,不作为当前Sentinel或Cluster能力判断。 |
| S. Ghemawat, H. Gobioff and S.T. Leung. The Google File System. 19th ACM Symposium on Operating Systems Principles,2003. | 原书附录推荐文献或项目 | 附B | 本书推荐点评已全文阅读;GFS围绕大量网页存储构建基础文件服务,并成为上层数据处理平台的基石;其意义在与负载匹配的设计,而不只是规模数字。 |
| D. Beaver, S. Kumar, H.C. Li, J. Sobel and P. Vajgel. Finding a Needle in Haystack: Facebook’s Photo Storage. The 7th USENIX Symposium on Operating Systems Design and Implementation,2010. | 原书附录推荐文献或项目 | 附B | 本书推荐点评已全文阅读;Haystack针对海量图片对象的访问和管理成本设计存储,展示文件接口以外的对象工作负载取舍;并非任何对象存储都必然采用相同索引。 |
| J. S. Plank. A Tutorial on Reed-Solomon Coding for Fault-Tolerance in RAID-like Systems, Technical Report, 1996. | 原书附录推荐文献或项目 | 附B | 本书推荐点评已全文阅读;纠删码用编码冗余减少完整副本所需空间,恢复却可能需要读取多个剩余块。成本评估应同时考虑存储和恢复路径。 |
| M. Sathiamoorthy etc. XORing Elephants: Novel Erasure Codes for Big Data. In 39th International Conference on Very Large Data Bases (VLDB), 2013. | 原书附录推荐文献或项目 | 附B | 本书推荐点评已全文阅读;局部重建码关注恢复少量损坏块时的网络开销,以增加局部分组的冗余换取较少的数据搬运;不能仅比较总冗余比例。 |
| F. Chang, J. Dean, S. Ghemawat, W. C. Hsieh, D. A. Wallach, M. Burrows, T. Chandra, A. Fikes, and R. E. Gruber. Bigtable: A distributed storage system for structured data. ACM Transaction on Computing System, 2008,26(2):1-26. | 原书附录推荐文献或项目 | 附B | 本书推荐点评已全文阅读;Bigtable把大规模结构化数据模型与下层文件、协调等服务组合,承接海量文件存储并向应用提供更合适的数据组织。 |
| Cassandra. http://cassandra.apache.org/ | 原书附录推荐文献或项目 | 附B | 本书推荐点评已全文阅读;Cassandra把Bigtable风格模型与P2P、Dynamo相关机制结合,说明数据模型和底层复制分片架构是可分别取舍的设计维度。 |
| C. J. Corbett, J. Dean etc. Spanner: Google’s Globally-Distributed Database. 10th USENIX Symposium on Operating Systems Design and Implementation, 2012. | 原书附录推荐文献或项目 | 附B | 本书推荐点评已全文阅读;Spanner点评强调全球部署和事务能力。应将跨地域一致性放回复制仲裁、时间不确定性及故障条件,不能理解成任意数据中心同时失效仍无条件可用。 |
| Databus: LinkedIn’s Change Data Capture Pipeline. SOCC 2012. | 原书附录推荐文献或项目 | 附B | 本书推荐点评已全文阅读;数据总线把源数据的已提交变化通知给关注它的下游,减轻各应用重复扫描源库的负担;重放与消费正确性仍有独立边界。 |
| M. Burrows. The chubby lock service for loosely-coupled distributed systems. In OSDI’06: Proceedings of the 7th symposium on Operating systems design and implementation, 2006,pp: 335-350. | 原书附录推荐文献或项目 | 附B | 本书推荐点评已全文阅读;粗粒度锁服务承担命名、协调和少量控制信息等职责,帮助上层大系统协调,而不是承接所有高频业务读写。 |
| P. Hunt, M. Konar, F. P. Junqueira and B. Reed. ZooKeeper: Wait-free coordination for Internet-scale systems. In USENIX Annual Technical Conference, 2010. | 原书附录推荐文献或项目 | 附B | 本书推荐点评已全文阅读;原书年份2011经USENIX书目核为2010。选主、配置、组成员和锁是协调服务的典型用途。选择已有协调系统能够复用经过设计的机制,却不能省略客户端会话与失败处理。 |
| V. K. Vavilapalli etc. Apache Hadoop YARN: Yet Another Resource Negotiator. ACM Symposium on Cloud Computing, 2013. | 原书附录推荐文献或项目 | 附B | 本书推荐点评已全文阅读;YARN把资源管理从MapReduce专用主控中分离,为多类计算框架提供资源平台;它不是MapReduce应用本身,生态预测也应保留原书时间坐标。 |
| M. Schwarzkopf, A. Konwinski, M. A. Malek and J. Wilkes. Omega: flexible, scalable schedulers for large compute clusters. In Proceedings of the 8th ACM European Conference on Computer Systems,2013,pp: 351–364. | 原书附录推荐文献或项目 | 附B | 本书推荐点评已全文阅读;共享状态调度让多个框架观察资源并独立制定策略,以乐观控制应对竞争冲突;更完整的分类帮助比较集中式、两级与共享状态调度。 |
| Apache Kafka. http://kafka.apache.org/documentation.html#design | 原书附录推荐文献或项目 | 附B | 本书推荐点评已全文阅读;Kafka从日志收集扩展为分区化消息通道,保留日志与消费位置支持多种用途。吞吐与低延迟必须连同确认、保留和复制条件讨论。 |
| J. Dean and S. Ghemawat. MapReduce: simplified data processing on large clusters. Sixth Symposium on Operating Systems Design and Implementation, 2004. | 原书附录推荐文献或项目 | 附B | 本书推荐点评已全文阅读;MapReduce以批量数据并行模型影响后续平台,评价它时应同时看编程约束、数据搬运和故障重执行,而不是把批处理当作所有任务的统一答案。 |
| M. Isard, S. V. Mihai etc. Dryad: Distributed Data-Parallel Programs from Sequential Building Blocks. ACM SIGOPS in Europe EuroSys, 2007. | 原书附录推荐文献或项目 | 附B | 本书推荐点评已全文阅读;Dryad用有向无环任务图表达分阶段数据并行,较单个MapReduce作业能表示更一般的依赖;图表达更广不代表每种任务都更快。 |
| N. Marz. Twitter storm. https://github.com/nathanmarz/storm/wiki, 2012. | 原书附录推荐文献或项目 | 附B | 本书推荐点评已全文阅读;低时延数据处理关注持续到达事件及其状态、失败和交付语义。Storm在此是原书的重要开源入口,产品名本身不构成端到端一次处理的保证。 |
| T.Akidau, A. Balikov, K. Bekir, S. Chernyak, J. Haberman, R. Lax, S. McVeety, D. Mills, P. Nordstrom and S. Whittle. MillWheel: Fault-Tolerant Stream Processing at Internet Scale. In Very Large Database Conference, 2013. | 原书附录推荐文献或项目 | 附B | 本书推荐点评已全文阅读;MillWheel把低延迟、容错及计算表达能力放入持续流处理平台的整体设计,适合与其他流系统比较保证及代价,不能只比较吞吐数字。 |
| A. Thusoo, J. S. Sarma, N. Jain, Z. Shao, P. Chakka, N. Zhang, S. Anthony, H. Liu and R. Murthy. Hive - a petabyte scale data warehouse using Hadoop. In International Conference on Data Engineering, 2010, pp: 996-1005. | 原书附录推荐文献或项目 | 附B | 本书推荐点评已全文阅读;Hive将SQL式数据分析映射到Hadoop执行,降低既有数据仓库用户迁移门槛;原书对其MapReduce执行成本的评价有版本背景。 |
| S. Melnik, A. Gubarev, J. J. Long, G. Romer, S. Shivakumar, M. Tolton, and T. Vassilakis. Dremel: interactive analysis of web-scale datasets. Communication of ACM, 2011,54(6):114–123. | 原书附录推荐文献或项目 | 附B | 本书推荐点评已全文阅读;Dremel结合交互分析需要组织列式数据及分布式查询,影响后续SQL-on-Hadoop系统。借鉴相似架构不等于开源项目就是其源码公开版本。 |
| Impala. https://github.com/cloudera/impala | 原书附录推荐文献或项目 | 附B | 本书推荐点评已全文阅读;Impala是原书列举的交互式SQL系统。性能领先需要完整工作负载与环境证据,点评中最好排名只保留为历史评价,不作为当前选型结论。 |
| G. Malewicz, M.H. Austern, A.J. Bik, J. Dehnert, I. Horn,N. Leiser, and G.Czajkowski, Pregel: a system for large-scale graph processing. In 2010 SIGMOD Conference,2010. | 原书附录推荐文献或项目 | 附B | 本书推荐点评已全文阅读;Pregel将图计算组织为BSP式顶点迭代和消息交换,适合表达图依赖计算;终止、组合器及具体算法正确性仍需独立条件。 |
| J.E. Gonzalez, Y. Low, H. Gu, D. Bickson, C. Guestrin, Powergraph: Dis- tributed graph-parallel computation on natural graphs. In Proceedings of the 10th USENIX Symposium on Operating Systems Design and Implementation,2012. | 原书附录推荐文献或项目 | 附B | 本书推荐点评已全文阅读;PowerGraph点评明确补充它能组织同步与异步两种计算。结合第14章可区分GAS接口和同步策略;效率排名保留2014语境,不能由称赞推导所有图都更快。 |
| W. Dai, J. Wei, X. Zheng, J. K. Kim, S. Lee, J. Yin, Q. Ho, E. P. Xing. Petuum: A Framework for Iterative-Convergent Distributed ML.2013, arXiv:1312.7651. | 原书附录推荐文献或项目 | 附B | 本书推荐点评已全文阅读;参数服务器为迭代收敛学习共享参数,需权衡陈旧读取、同步成本和算法收敛条件;海量参数数字本身不能证明通用性能。 |
| M. Zaharia etc. Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing, 2011, UCB/EECS-2011-82. | 原书附录推荐文献或项目 | 附B | 本书推荐点评已全文阅读;RDD以可重建的数据抽象支持迭代计算,内存复用和容错依赖数据依赖关系,不是把全部数据永久放内存。 |
| R. Bekkerman, M. Bilenko and J. Langford. Scaling Up Machine Learning: Parallel and Distributed Approaches. Cambridge University Press, 2012. | 原书附录推荐文献或项目 | 附B | 本书推荐点评已全文阅读;这部文集把MPI、GPU、MapReduce、Dryad等并行范型下的学习算法放在一起,提供按算法与执行环境比较的阅读路线;本轮仅阅读本书推荐点评。 |
| Chord: A Scalable Peer-to-peer Lookup Service for Internet Applications | 论文/文献 | 01 | 本章参考文献第1项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Ion Stoica, Robert Morris, David Karger, M. Frans Kaashoek, Hari Balakrishnan Chord: A Scalable Peer-to-peer Lookup Service for Internet Applications SIGCOMM’01, San Diego, California, USA. August 27,2001. |
| 数据库系统实现(第2版) | 书籍 | 01 | 本章参考文献第2项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Hector Garcia-Molina, Jeffrey D.Ullman and Jennifer Widom.《数据库系统实现》第2版.第9章. |
| Couchbase | 网站/文档 | 01 | 本章参考文献第3项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Couchbase. http://www.couchbase.com/wiki/display/couchbase/Home |
| BigTable: A distributed storage system for structured data | 论文/文献 | 01 | 本章参考文献第4项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:F. Chang, J. Dean, S. Ghemawat, W. C. Hsieh, D. A. Wallach, M. Burrows, T. Chandra, A. Fikes, and R. E. Gruber. BigTable: A distributed storage system for structured data. ACM Trans. Comput. Syst. , 26(2):1-26, 2008. |
| Pnuts: Yahoo!’s hosted data serving platform | 论文/文献 | 01 | 本章参考文献第5项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:B. F. Cooper, R. Ramakrishnan, U. Srivastava, A. Silberstein, P. Bohannon, H.-A. Jacobsen, N. Puz, D. Weaver, and R. Yerneni. Pnuts: Yahoo!’s hosted data serving platform. Proc. VLDB Endow., 1(2):1277-1288, 2008. |
| Dynamo: amazon’s highly available key-value store | 论文/文献 | 01 | 本章参考文献第6项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:G. DeCandia, D. Hastorun, M. Jampani, G. Kakulapati, A. Lakshman, A. Pilchin, S. Sivasubramanian, P. Vosshall, and W. Vogels. Dynamo: amazon’s highly available key-value store. In SOSP’07: Proceedings of twenty-_rst ACM SIGOPS symposium on Operating systems principles, pages 205-220, New York, NY, USA, 2007. |
| Windows Azure Storage: a highly available cloud storage service with strong consistency | 论文/文献 | 01 | 本章参考文献第7项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Brad Calder, Ju Wang, Aaron Ogus etc. Windows Azure Storage: a highly available cloud storage service with strong consistency. SOSP’11 Proceedings of the Twenty-Third ACM Symposium on Operating Systems Principles. Pages 143-157. 2011. |
| 分布式系统原理与范型(第2版) | 书籍 | 02 | 本章参考文献第1项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Andrew S.Tanenbaum and Maarten Van Steen.分布式系统原理与范型(第2版)。 |
| Vector Clock | 网站/文档 | 02 | 本章参考文献第2项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Vector Clock. http://en.wikipedia.org/wiki/Vector_clock. |
| Fundamentals of Distributed Computing: A Practical Tour of Vector Clock Systems | 论文/文献 | 02 | 本章参考文献第3项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Roberto Baldoni, Universita di Roma, ItalyMichel Raynal. Fundamentals of Distributed Computing: A Practical Tour of Vector Clock Systems. http://net.pku.edu.cn/~course/cs501/2008/reading/a_tour_vc.html |
| Brewer’s Conjecture and the Feasibility of Consistent, Available, Partition-Tolerant Web Services | 论文/文献 | 02 | 本章参考文献第4项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:S. Gilbert and N. Lynch,“Brewer’s Conjecture and the Feasibility of Consistent, Available, Partition-Tolerant Web Services,” ACM SIGACT News, June 2002, pp. 51-59. |
| CAP Twelve Years Later: How the Rules Have Changed | 论文/文献 | 02 | 本章参考文献第5项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Eric Brewer.CAP Twelve Years Later: How the”Rules” Have Change. IEEE Computer Society.2012. |
| Eventually Consistent-Revisited | 论文/文献 | 02 | 本章参考文献第6项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Eventually Consistent-Revisited. Weiner Vogals.2008.12. http://www.allthingsdistributed.com/2008/ 12/eventually_consistent.html. |
| Eventual Consistency Today: Limitations, Extensions, and Beyond | 论文/文献 | 02 | 本章参考文献第7项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Peter Bailis, Ali Ghodsi. Eventual Consistency Today: Limitations, Extensions, and Beyond. Communications of the ACM, Vol. 56 No. 5, Pages 55-63.2013. |
| In Search of an Understandable Consensus Algorithm | 论文/文献 | 02 | 本章参考文献第8项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Diego Ongaro and John Ousterhout. In Search of an Understandable Consensus Algorithm.Tech Report. 2013. https://ramcloud.stanford.edu/wiki/download/attachments/11370504/raft.pdf. |
| Paxos Made Simple | 网站/文档 | 02 | 本章参考文献第9项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Leslie Lamport. Paxos Made Simple. ACM SIGACT News (Distributed Computing Column) 32, 4 (Whole Number 121, December 2001) 51-58. 2001. |
| Generalized Consensus and Paxos | 论文/文献 | 02 | 本章参考文献第10项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:L. Lamport, Generalized Consensus and Paxos, tech. report MSR-TR-2005-33, Microsoft Research, 2005; ftp://ftp.research.microsoft.com/pub/tr TR-2005-33.pdf. 2005. |
| Fast Paxos | 网站/文档 | 02 | 本章参考文献第11项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Leslie Lamport. Fast Paxos. Distributed Computing 19, 2 (October 2006) 79-103.2006. |
| Paxos | 网站/文档 | 02 | 本章参考文献第12项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Paxos. http://en.wikipedia.org/wiki/Paxos_algorithm. |
| Viewstamped Replication Revisited | 论文/文献 | 02 | 本章参考文献第13项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Barbara Liskov and James Cowling. Viewstamped Replication Revisited. MIT technical report MIT-CSAIL-TR-2012-021,2012. |
| Zab: High-performance broadcast for primary-backup systems | 论文/文献 | 02 | 本章参考文献第14项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Flavio P. Junqueira, Benjamin C. Reed and USAMarco Serafin. Zab: High-performance broadcast for primary-backup systems. 2011 IEEE/IFIP 41st International Conference on Dependable Systems&Networks.2011. |
| Consistency Tradeoffs in Modern Distributed Database System Design | 论文/文献 | 02 | 本章参考文献第15项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Daniel J. Abadi, Consistency Tradeoffs in Modern Distributed Database System Design. Computer, vol. 45, no. 2, pp. 37-42, Feb. 2012. |
| Using Paxos to Build a Scalable, Consistent, and Highly Available Datastore | 论文/文献 | 02 | 本章参考文献第16项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:J. Rao, E.J. Shekita, and S. Tata,“Using Paxos to Build a Scalable, Consistent, and Highly Available Datastore,” Proc. VLDB Endowment (VLDB 11), ACM, 2011, pp. 243-254. |
| Bloom Filter | 网站/文档 | 03 | 本章参考文献第1项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Bloom Filter. http://en.wikipedia.org/wiki/Bloom_filter. |
| Bloom Filter and its Application in DS | 论文/文献 | 03 | 本章参考文献第2项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Bloom Filter and its Application in DS. Tech Report. 2007北京大学。http://net.pku.edu.cn/~course/cs501/2007/ppt/09BloomFilter.pdf. |
| Skip Lists: A Probabilistic Alternative to Balanced Trees | 论文/文献 | 03 | 本章参考文献第3项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:William Pugh. Skip Lists: A Probabilistic Alternative to Balanced Trees. Communications of the ACM. CACM Volume 33 Issue 6, June 1990 Pages 668-676. 1990. |
| The Design and Implementation of a Log-Structured File System | 论文/文献 | 03 | 本章参考文献第4项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Mendel Rosenblum, John K. Ousterhout. The Design and Implementation of a Log-Structured File System. ACM Transactions on Computer Systems.v10. 1991. |
| Leveldb日知录 | 网站/文档 | 03 | 本章参考文献第5项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Leveldb日知录。http://www.samecity.com/blog/Index.asp. |
| Merkle Tree | 网站/文档 | 03 | 本章参考文献第6项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Merkle Tree. http://en.wikipedia.org/wiki/Merkle_tree. |
| Bitcoin: A Peer-to-Peer Electronic Cash System | 论文/文献 | 03 | 本章参考文献第7项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Satoshi Nakamoto. Bitcoin: A Peer-to-Peer Electronic Cash System. Tech Report. |
| SILT: A Memory-Efficient, High-Performance Key-Value Store | 论文/文献 | 03 | 本章参考文献第8项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Hyeontaek Lim, Bin Fan, David G. Andersen and Michael Kaminsky. SILT: A Memory-Efficient, High-Performance Key-Value Store. in Proceedings of the 23rd ACM Symposium on Operating Systems Principles (SOSP’11). 2011. |
| A Universal Algorithm for Sequential Data Compression | 论文/文献 | 03 | 本章参考文献第9项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Jacob Ziv, Abraham Lempel, A Universal Algorithm for Sequential Data Compression, IEEE Transactions on Information Theory, 23(3):337-343, May 1977. |
| 数据无损压缩 | 网站/文档 | 03 | 本章参考文献第10项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:数据无损压缩.张奇。 http://jkx.fudan.edu.cn/~qzhang/COMP130036/mm-ch04.ppt. |
| Snappy Source Code | 网站/文档 | 03 | 本章参考文献第11项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Snappy Source Code. http://code.google.com/p/snappy/. |
| Cuckoo Hashing | 网站/文档 | 03 | 本章参考文献第12项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:P. Rasmus, F. Friche.“Cuckoo Hashing” Algorithms — ESA 2001. Lecture Notes in Computer Science 2161. pp. 121–133. 2001. |
| Cockoo Hashing | 网站/文档 | 03 | 本章参考文献第13项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Cockoo Hashing. http://en.wikipedia.org/wiki/Cuckoo_hashing. |
| Apache Hadoop YARN: Yet Another Resource Negotiator | 论文/文献 | 04 | 本章参考文献第1项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Vinod Kumar Vavilapalli etc. Apache Hadoop YARN: Yet Another Resource Negotiator. ACM Symposium on Cloud Computing, Oct 1-3, 2013. |
| Omega: flexible, scalable schedulers for large compute clusters | 论文/文献 | 04 | 本章参考文献第2项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:M. Schwarzkopf, A. Konwinski, M. Abd-El-Malek, and J. Wilkes. Omega: flexible, scalable schedulers for large compute clusters. In Proceedings of the 8th ACM European Conference on Computer Systems, EuroSys’13, pages 351–364, New York, NY, USA, 2013. ACM. |
| Mesos: a platform for fine-grained resource sharing in the data center | 论文/文献 | 04 | 本章参考文献第3项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:B. Hindman, A. Konwinski, M. Zaharia, A. Ghodsi,A. D. Joseph, R. Katz, S. Shenker, and I. Stoica. Mesos: a platform for fine-grained resource sharing in the data center. In Proceedings of the 8th USENIX conference on Networked systems design and implementation, NSDI’11, pages 22–22, Berkeley, CA, USA, 2011. USENIX Association. |
| Under the Hood: Scheduling MapReduce jobs more efficiently with Corona | 论文/文献 | 04 | 本章参考文献第4项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Facebook Engineering Team. Under the Hood:Scheduling MapReduce jobs more efficiently with Corona. http://on.fb.me/TxUsYN, 2012. |
| YARN | 网站/文档 | 04 | 本章参考文献第5项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:YARN.http://hortonworks.com/hadoop/yarn/. |
| Hadoop on Demand | 网站/文档 | 04 | 本章参考文献第6项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Hadoop on Demand. http://hadoop.apache.org/docs/r1.0.4/cn/hod.html. |
| Dominant resource fairness: fair allocation of multiple resource types | 论文/文献 | 04 | 本章参考文献第7项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:GhodsiI, A., Zaharia, M., Hindman, B., Konwinski, A., Shenker, S., and Stoica, I. Dominant resource fairness: fair allocation of multiple resource types. In Proceedings of NSDI (2011), pp. 323–336. |
| Survey on Improved Scheduling in Hadoop MapReduce in Cloud Environments | 论文/文献 | 04 | 本章参考文献第8项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:B.Thirumala Rao, LSS Reddy; “Survey on Improved Scheduling in Hadoop MapReduce in Cloud Environments”; International Journal of Computer Applications Vol.34, Issue 9, pp-29-33, November, 2011. |
| Quincy: fair scheduling for distributed computing clusters | 论文/文献 | 04 | 本章参考文献第9项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:ISard, M., Prabhakaran, V., Currey, J., Weieder, U., Talwar, K.,and Goldberg, A. Quincy: fair scheduling for distributed computing clusters. In Proceedings of SOSP (2009). |
| Delay scheduling: A simple technique for achieving locality and fairness in cluster scheduling | 论文/文献 | 04 | 本章参考文献第10项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Zaharia, M., Borthakur, D., Sen Sarma, J.,Elmeleegy, K., Shenker, S.,and D Stoica, I. Delay scheduling: A simple technique for achieving locality and fairness in cluster scheduling. In Proceedings of EuroSys (2010),pp. 265–278. |
| 集群资源管理 | 网站/文档 | 04 | 本章参考文献第11项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:集群资源管理.http://dongxicheng.org/。 |
| Lmctfy | 网站/文档 | 04 | 本章参考文献第12项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Lmctfy. https://github.com/google/lmctfy/. |
| linux container | 网站/文档 | 04 | 本章参考文献第13项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:linux container. http://lxc.sourceforge.net. |
| The chubby lock service for loosely-coupled distributed systems | 论文/文献 | 05 | 本章参考文献第1项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:M. Burrows. The chubby lock service for loosely-coupled distributed systems. In OS DI’06: Proceedings of the 7th symposium on Operating systems design and implementation, pages 335-350, Berkeley, CA, USA, 2006. USENIX Association. |
| Paxos made live: An engineering perspective | 论文/文献 | 05 | 本章参考文献第2项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:T. Chandra, R. Griesemer, and J. Redstone. Paxos made live: An engineering perspective. In Proceedings of the 26th annual ACM symposium on Principles of distributed computing (PODC), Aug. 2007. |
| ZooKeeper: Wait-free coordination for Internet-scale systems | 论文/文献 | 05 | 本章参考文献第3项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Patrick Hunt, Mahadev Konar, Flavio P. Junqueira and Benjamin Reed. ZooKeeper: Wait-free coordination for Internet-scale systems. In USENIX Annual Technical Conference.2011. |
| Zab: High-performance broadcast for primary-backup systems | 论文/文献 | 05 | 本章参考文献第4项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Flavio P. Junqueira, Benjamin C. Reed, and Marco Serafini. Zab: High-performance broadcast for primary-backup systems. DSN-DCCS, 2011. |
| Zookeeper | 网站/文档 | 05 | 本章参考文献第5项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Zookeeper. http://zookeeper.apache.org/. |
| Katta-distribute lucene indexes in a grid | 论文/文献 | 05 | 本章参考文献第6项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Katta. Katta-distribute lucene indexes in a grid. http://katta.wiki.sourceforge.net/, 2008. |
| Solr | 网站/文档 | 05 | 本章参考文献第7项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Solr. http://lucene.apache.org/solr/. |
| Storm | 网站/文档 | 05 | 本章参考文献第8项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:Storm. http://storm-project.net/. |
| kafka | 网站/文档 | 05 | 本章参考文献第9项;按原书实际条目登记,作者/题名/网址拼写未据猜测补造。 原条目:kafka. http://kafka.apache.org/. |
| [1] Sanjay Ghemawat, Howard Gobioff, and Shun-Tak Leung.The Google File System. 19th ACM Symposium on Operating Systems Principles,Lake George, NY, October, 2003. | 原书参考条目 | 8 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [2] Hadoop.http://hadoop.apache.org/index.html. | 原书参考条目 | 8 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [3] HDFS HA.https://issues.apache.org/jira/browse/HDFS-1623. | 原书参考条目 | 8 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [4] HDFS Federation.https://issues.apache.org/jira/browse/HDFS-1052. | 原书参考条目 | 8 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [5] HDFS Qurom Journal Manager.http://yanbohappy.sinaapp.com/?p=205. | 原书参考条目 | 8 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [6] Beaver, D., Kumar, S., Li, H. C., Sobel, J., and Vajgel, P. Finding a Needle in Haystack: Facebook’s Photo Storage. In OSDI (Vancouver, BC, Oct. 2010). | 原书参考条目 | 8 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [7] Parquet.http://parquet.io/. | 原书参考条目 | 8 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [8] ORCFile.http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.0.2/ds_Hive/orcfile.html. | 原书参考条目 | 8 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [9] Yongqiang He. Etc. RCFile: A fast and space-efficient data placement structure in MapReduce-based warehouse systems. IEEE 27th International Conference on Data Engineering. 2011. | 原书参考条目 | 8 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [10] Sergey Melnik, Andrey Gubarev, Jing Jing Long, Geoffrey Romer, Shiva Shivakumar, Matt Tolton, Theo Vassilakis. Dremel: Interactive Analysis of Web-Scale Datasets. Proc. of the 36th Int’l Conf on Very Large Data Bases (2010), pp. 330-339. | 原书参考条目 | 8 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [11] James S. Plank. A Tutorial on Reed-Solomon Coding for Fault-Tolerance in RAID-like Systems. Technical Report.1996. | 原书参考条目 | 8 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [12] Reed-Solomon.http://en.wikipedia.org/wiki/Reed%E2%80%93Solomon_error_correction. | 原书参考条目 | 8 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [13] Erasure Code.http://en.wikipedia.org/wiki/Erasure_code. | 原书参考条目 | 8 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [14] HDFS-RAID. http://wiki.apache.org/hadoop/HDFS-RAID. | 原书参考条目 | 8 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [15] Cheng Huang, Huseyin Simitci, Yikang Xu, Aaron Ogus, Brad Calder, Parikshit Gopalan, Jin Li, and Sergey Yekhanin. Erasure Coding in Windows Azure Storage. USENIX ATC (2012). | 原书参考条目 | 8 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [16] Maheswaran Sathiamoorthy. etc. XORing Elephants: Novel Erasure Codes for Big Data .in 39th International Conference on Very Large Data Bases (VLDB) 2013. | 原书参考条目 | 8 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [1] Diego Ongaro, Stephen M. Rumble, Ryan Stutsman,John Ousterhout, and Mendel Rosenblum. Fast Crash Recovery in RAMCloud. SOSP’11, Cascais, Portugal. | 原书参考条目 | 9 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [2] John Ousterhout et al. The Case for RAMClouds: Scalable High-Performance Storage Entirely in DRAM. SIGOPS OSR 2009. | 原书参考条目 | 9 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [3] Redis. http://redis.io/. | 原书参考条目 | 9 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [4] Redis Cluster. http://redis.io/topics/cluster-spec. | 原书参考条目 | 9 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [5] Keepalived. http://www.keepalived.org/. | 原书参考条目 | 9 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [6] 通过Keepalived实现Redis Failover自动故障切换功能。http://blog.csdn.net/xinhui88/article/details/8279684. | 原书参考条目 | 9 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [7] Membase. http://www.couchbase.com/wiki/display/couchbase/Home. | 原书参考条目 | 9 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [1] F. Chang, J. Dean, S. Ghemawat, W. C. Hsieh, D. A. Wallach, M. Burrows, T. Chandra, A. Fikes, and R. E. Gruber. BigTable: A distributed storage system for structured data. ACM Trans. Comput. Syst., 26(2):1-26, 2008. | 原书参考条目 | 10 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [2] HBase. http://hbase.apache.org/. | 原书参考条目 | 10 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [3] B. F. Cooper, R. Ramakrishnan, U. Srivastava, A. Silberstein, P. Bohannon, H.A. Jacobsen, N. Puz, D. Weaver, and R. Yerneni. Pnuts: Yahoo!’s hosted data serving platform. Proc. VLDB Endow. , 1(2):1277-1288, 2008. | 原书参考条目 | 10 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [4] J. Furman, J. S. Karlsson, J.-M. Leon, A. Lloyd, S. Newman, and P. Zeyliger. Megastore: A scalable data system for user facing applications. In ACM SIGMOD/PODS Conference, 2008. | 原书参考条目 | 10 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [5] James C. Corbett, Jeffrey Dean etc. Spanner: Google’s Globally-Distributed Database. 10th USENIX Symposium on Operating Systems Design and Implementation (OSDI’12) 2012. | 原书参考条目 | 10 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [1] Kyong-Ha Lee, Yoon-Joon Lee, Hyunsik Choi etc. Parallel data processing with MapReduce: a survey. ACM SIGMOD Record archive. Volume 40 Issue 4, December 2011 Pages 11-20.2011. | 原书参考条目 | 11 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [2] Jeffrey Dean and Sanjay Ghemawat. MapReduce: simplified data processing on large clusters. 0SDI’04. 2004. | 原书参考条目 | 11 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [3] Donald Miner and Adam Shook. Mapreduce design patterns: Building Effective Algorithms and Analytics for Hadoop and Other Systems. O’Reilly Media. 2012. | 原书参考条目 | 11 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [4] MapReduce. MapReduce Patterns, Algorithms, and Use Cases. http://highlyscalable.wordpress.com/2012/02/01/mapreduce-patterns/. | 原书参考条目 | 11 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [5] Michael Isard, Silicon ValleyMihai etc. Dryad: Distributed Data-Parallel Programs from SequentialBuilding Blocks. EuroSys’07, March 21–23, 2007, Lisboa, Portugal.2007. | 原书参考条目 | 11 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [6] Craig Chambers, Ashish Raniwala etc. FlumeJava: Easy, Efficient Data-Parallel Pipelines. PLDI’10, June 5–10, 2010, Toronto, Ontario, Canada. 2010. | 原书参考条目 | 11 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [7] Tez. http://tez.incubator.apache.org/. | 原书参考条目 | 11 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [1] T.Akidau, A.Balikov, K.Bekir, S.Chernyak, J.Haberman,R. Lax, S.McVeety, D. Mills, P. Nordstrom and S. Whittle. MillWheel: Fault-Tolerant Stream Processing atInternet Scale. In Very Large Database Conference, 2013. | 原书参考条目 | 12 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [2] Twitter storm. https://github.com/nathanmarz/storm/wiki,2012. | 原书参考条目 | 12 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [3] Trident. https://github.com/nathanmarz/storm/wiki/Trident-tutorial,2012. | 原书参考条目 | 12 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [4] Samza.http://samza.incubator.apache.org/, 2013. | 原书参考条目 | 12 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [5] T. Condie, N. Conway, P. Alvaro, J. M. Hellerstein,K. Elmeleegy, and R. Sears. MapReduce online.In USENIX Symposium on Networked Systems Design& Implementation, 2010, pp. 21-29. | 原书参考条目 | 12 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [6] M. Zaharia, T. Das, H. Li, S. Shenker, and I. Stoica. Discretized streams: an effcient and fault-tolerant model for stream processing on large clusters. In USENIX AssociationHotCloud Conference, 2012. | 原书参考条目 | 12 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [7] L. Neumeyer, B. Robbins, A. Nair, and A. Kesari. S4: Distributed stream computing platform.In Proceedings of the 9th IEEE International Conference on Data Mining,2010, pp. 170 –177. | 原书参考条目 | 12 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [8] D. J. Abadi, Y. Ahmad, M. Balazinska, M. Cherniack, J. hyon Hwang, W. Lindner, A. S. Maskey, E. Rasin, E. Ryvkina, N. Tatbul, Y. Xing, and S. Zdonik. The design of the borealis stream processing engine.The biennial Conference on Innovative Data Systems Research,2005,pp.277–289. | 原书参考条目 | 12 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [9] D. J. Abadi, D. Carney, U. C, etintemel, M. Cherniack, C. Convey, S. Lee, M. Stonebraker, N. Tatbul, and S. Zdonik. Aurora: a new model and architecture for data stream management. The VLDB Journal, 2003,(2):120–139. | 原书参考条目 | 12 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [10] MUPD8. https://github.com/walmartlabs/mupd8.2013. | 原书参考条目 | 12 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [11] L.Wang, L. Liu, S.T.S Prasad, A.Rajaraman, Z.Vacheri, A.H Doan. Muppet: MapReduce-Style Processing of Fast Data.The Proceedings of the VLDB, 2012, (5): 1814-1825. | 原书参考条目 | 12 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| [12] IlyaKatsov. In stream big data processing http://blog.csdn.net/macyang/article/details/10183393. | 原书参考条目 | 12 | 已完整阅读原书列出的条目。仅正文展开的机制成卡;未据书目冒充论文全文阅读。 |
| Hive - a petabyte scale data warehouse using Hadoop | 论文 | 13 | 原书参考[2],本文主要据原书解读 |
| Shark: SQL and Rich Analytics at Scale | 论文 | 13 | 原书参考[4] |
| Dremel: interactive analysis of web-scale datasets | 论文 | 13 | 原书参考[5];Google Research官方条目已访问,未据摘要代替全文 |
| Processing a trillion cells per mouse click | 论文 | 13 | 原书参考[14],PowerDrill机制 |
| Hadoopdb: an architectural hybrid of mapreduce and DBMS technologies | 论文 | 13 | 原书参考[17],本轮不声称阅读完整外部论文 |
| TAO: Facebook’s Distributed Data Store for the Social Graph | 论文 | 14 | USENIX ATC2013;本轮实际核读第6节一致性条件 |
| Pregel: a system for large-scale graph processing | 论文 | 14 | SIGMOD2010;本轮实际核读第2节终止与5.3极大匹配 |
| Distributed GraphLab | 论文 | 14 | 原书参考[5],Scope与一致性模型主要据原书 |
| GraphChi: Large-scale graph computation on just a PC | 论文 | 14 | 原书参考[9],PSW主要据原书 |
| Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing | 论文 | 16–17 | 生成时校正窄依赖定义、缓存惰性及存储级别;不是额外独立复核。 实际入口:https://www.istc-cc.cmu.edu/publications/papers/2012/nsdi12-zaharia.pdf |
| Spark RDD Programming Guide | 官方文档 | 16–17 | 生成时校正窄依赖定义、缓存惰性及存储级别;不是额外独立复核。 实际入口:https://spark.apache.org/docs/latest/rdd-programming-guide.html |
| [1] M.A. Zinkevich, A.Smola, M. Weimer and L.H. Li.Parallelized stochastic gradient descent. Advances in Neural Information Processing Systems, 2010. | 原书参考条目 | 16 | 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。 |
| [2] 冯扬.详解并行逻辑回归.http://www.csdn.net/article/2014-02-13⁄2818400-2014-02-13 | 原书参考条目 | 16 | 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。 |
| [3] 刘小兵.大规模逻辑回归并行化.http://www.haiwenku.com/view/561260.html | 原书参考条目 | 16 | 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。 |
| [4] Y. Zhou, D. Wilkinson, R. Schreiber and R.Pan. Large-scale Parallel Collaborative Filtering for the Netflix Prize. Proceeding of 4th International Conference on Algorithmic Aspects in Information and Management, 2008,LNCS 5034. | 原书参考条目 | 16 | 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。 |
| [5] T.Elsayed, J. Lin, and D. W. Oard.Pairwise Document Similarity in Large Collections with MapReduce.Proceedings of ACL-08: HLT, Short Papers (Companion Volume),2008,pp: 265–268. | 原书参考条目 | 16 | 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。 |
| [6] H. Li, Learning to Rank. ACML 2009 Tutorial. 2009. | 原书参考条目 | 16 | 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。 |
| [7] C. J.C. Burges, K. M. Svore, P. N. Bennett, A.Pastusiak, and Q. Wu.Learning to Rank using an Ensemble of Lambda-Gradient Models.Journal of Machine Learning Research: Workshop and Conference Proceedings,2011. | 原书参考条目 | 16 | 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。 |
| [8] C. J. C.Burges. 2010. FromRankNet to LambdaRank to LambdaMART: An Overview. TechnicalReport MSR-TR-2010-82. Microsoft Research,2010. | 原书参考条目 | 16 | 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。 |
| [9] R.Bekkerman,M.Bilenko and J. Langford. Scaling Up Machine Learning: Parallel and Distributed Approaches. Cambridge University Press, 2012. | 原书参考条目 | 16 | 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。 |
| [10] U.V.Luxburg. A Tutorial on Spectral Clustering. Statistics and Computing, 2007,17 (4). | 原书参考条目 | 16 | 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。 |
| [11] W.Y. Chen, Y. Song, H.Bai, C.J. Lin, E. Y. Chang.Parallel Spectral Clustering in Distributed Systems.IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(3),pp:568-586. | 原书参考条目 | 16 | 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。 |
| [12]张俊林.大规模SNS中兴趣圈子的自动挖掘.2012.http://www.infoq.com/cn/articles/zjl-sns-automatic-mining. | 原书参考条目 | 16 | 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。 |
| [13] Andrew Ng. Deep Learning Tutorial.http://ufldl.stanford.edu/wiki/index.php/UFLDL_Tutorial | 原书参考条目 | 16 | 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。 |
| [14] D. Li. A Tutorial Survey of Architectures, Algorithms, and Applications for Deep Learning.APSIPA Transactions on Signal and Information Processing. 2012. | 原书参考条目 | 16 | 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。 |
| [15] G. Hinton,S. Osindero andY. Teh.A fast learning algorithm for deep belief nets.Neural Computing, 2006,18: 1527–1554. | 原书参考条目 | 16 | 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。 |
| [16] G. Hinton and R.Salakhutdinov. Reducing the dimensionality of data with neural networks. Science, 2006,313 (5786): 504–507. | 原书参考条目 | 16 | 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。 |
| [17] J. Dean. etc. Large Scale Distributed Deep Networks. NIPS 2012: Neural Information Processing Systems, 2012. | 原书参考条目 | 16 | 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。 |
| [1] D. Peng and F. Dabek. Large-scale incremental processing using distributed transactions and notifications. In USENIX Symposium on Operating Systems Design and Implementation, 2010. | 原书参考条目 | 17 | 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。 |
| [2] R.Cheng, J. Hong, A. Kyrola, Y. Miao, X.Weng, M. Wu, F. Yang, L. Zhou, F. Zhao, and E. Chen. Kineograph: taking the pulse of a fast-changing and connected world. In The European Conference on Computer Systems, 2012, pp: 85–98. | 原书参考条目 | 17 | 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。 |
| [3] P.Bhatotia, A.Wieder, I.E.Akkus, R. R.Umut and A. Acar. Large-scale Incremental Data Processing with Change Propagation. Proceedings of the 9th USENIX conference on Operating systems design and implementation,2010. | 原书参考条目 | 17 | 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。 |
| [4] D. Logothetis, C. Olston, B. Reed, K. C. Webb, and K. Yocum. Stateful bulk processing for incremental analytics.In Proceeding of SOCC’10, 2010. | 原书参考条目 | 17 | 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。 |
| [5] P. Bhatotia, A. Wieder, R. Rodrigues, U. A. Acar, and R. Pasquin. Incoop: Mapreduce for incremental computations. In Proceeding of SOCC’11, 2011. | 原书参考条目 | 17 | 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。 |
| [6] F. McSherry, D. G. Murray, R. Isaacs, and M. Isard. Differential dataflow.In Proceeding of CIDR’13, 2013. | 原书参考条目 | 17 | 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。 |
| [7] C. Yan, X. Yang, Z. Yu, M. Li, and X. Li. Incmr: Incremental data processing based on mapreduce. In Proceeding of CLOUD’12, 2012. | 原书参考条目 | 17 | 原书条目已读;仅在官方核验记录指明的范围实际另读原论文。 |
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|---|---|---|---|
| 转账半成功破坏守恒 | 转账半成功破坏守恒 | 转账使用原子事务 | 原书银行转账原子性算例,非真实线上事故,未补造跨系统实现。 | |
| 点击计费怕漏算与重算 | 点击计费怕漏算与重算 | 点击计数需原子去重 | 12 | 传输次数被当成业务事件次数,去重身份与状态提交未处于一致边界 |
| 两步转账中断会破坏总额 | 两步转账中断会破坏总额 | 主记录提交保护转账原子性 | 17 | 两账户变更缺少跨行原子提交边界,扣款成功后加款未发生 |
具体风险来自书中教学流程和代码;补充方案均写明保证范围,不宣称生产事故已发生或全部竞态已被解决。
| 序号 | 实践标题 | 实践方式 | 状态(pending/done) | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 001 | 读LevelDB的LSM写读路径 | 实现深读 | done | 03 | ideas/idea-001-读LevelDB的LSM写读路径.md;ideas/materials/leveldb-lsm-first-pass.md |
| 002 | 布隆过滤器源码与实测计划 | 实现深读 | done | 03 | ideas/idea-002-实测布隆过滤器误判率.md;ideas/materials/bloom-source-test-first-pass.md |
实践候选筛选:done
保留两个有真实成熟实现的具体候选:LSM链路与Bloom源码/测试,各回答独立问题。分布式训练、图处理和增量计算缺少真实部署与任务目标,避免另造平台或通用性能实验;其机制保留知识卡。
已核验LevelDB官方1.23标签、实际读取源码/测试段并填写两份首轮映射;完整源码深读与后续实验未执行,无测量结果。
本书历史76知识卡,本轮保留原文件路径、ID和已有编号,依据当前原文和必要原图完整读取;历史第0、6、7章与附录的略读/0卡不充当本轮覆盖。不同章节重复机制通过真实secondary来源或正文链接汇合,不按篇幅凑数;原书错误和案例保证范围见具体章节。light未执行生成后复核、独立审查与审查结果优化,实践只完成计划和首轮材料。
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
主题索引
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
主题索引
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
主题索引
比较分布式共识、领导者选举、副本数量与一致性模型的可靠性取舍。
主题索引
比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。
主题索引
比较渐近复杂度、摊销分析、基准测试以及以抽象换空间、局部性等时间与空间效率的权衡。
主题索引
比较内部与外部一致性、XA/2PC/3PC、CAP 与 BASE,以及可靠事件队列、TCC、SAGA、AT 等柔性事务方案。
主题索引
比较 RPC 要解决的基本问题与历代框架取舍,以及 REST 的资源抽象、统一接口、成熟度与局限。
主题索引
比较分库分片主键选择、分布式数据库选型与跨库关联查询的解法。
主题索引
比较顺序一致性、线性一致性、外部一致性等一致性模型,以及 CAP、弱 CAP、HAT、PACELC 对系统取舍的刻画。
主题索引
比较水平复制、按业务拆分与数据分片等不同维度的扩展手段及其适用问题。
主题索引
比较大数据在用户画像、个性化营销、程序化广告与实时竞价、大数据征信中的方法、数据来源与风险。
主题索引
比较布隆过滤器、跳表、LSM 树、Merkle 树、Cuckoo 哈希等在存储系统中以空间或精度换效率的数据结构。
主题索引
把流当成持续计算来看:拓扑与算子、无界与有界的区别、分组与重分区、键与时间的语义、CEP 与关联操作,以及批流合一与 Lambda/Kappa 的取舍。
主题索引
多个数据系统怎样连成一套:分拆数据库与读写路径、CDC 与日志捕获、双写与发件箱、数据共享与缓存复制、数据湖与湖仓分工、端到端正确性与可审计性。
主题索引
比较以不可变主数据、批处理层、服务层与速度层构建数据系统的思路,以及重算、增量与视图合并的取舍。
主题索引
比较全文检索的索引粒度、倒排列表压缩、签名文件与位图、布尔查询加速与索引构造算法,以及压缩索引如何同时省空间和提速。
主题索引
批量计算的执行模型:Map 与 Reduce 的边界、Shuffle 为什么是成本中心、本地性与重算代价、DAG 怎样突破两阶段落盘、作业链与调度怎样编排,以及 MapReduce 这类模型能解决与不能解决的边界。
主题索引
Spark Core 从 SparkContext、RPC、存储体系、内存管理到 DAG/Task 调度、Shuffle 与容错恢复的内部机制与取舍。
主题索引
面向交互式分析的执行引擎:列存与分区裁剪、查询编译与向量化执行、重分布连接与并行度、MPP 与混合数仓、Presto 式连接器解耦,以及预计算能省下多少。
主题索引
分类、聚类、关联规则、主题模型、集成方法与矩阵分解各自的适用边界,以及推荐、征信、CTR 等业务场景里多模型怎样组合、为什么要看查准查全而不是只看准确率。
主题索引
有状态流处理的存储与恢复:键控状态与算子状态、本地与外部状态、变更日志与检查点、精确一次与幂等、ACK 与重放、状态规模爆炸与迁移重建。
主题索引
数据并行、模型并行、流水线并行的切分对象与通信代价,DP/DDP/Horovod 的等价性与主卡瓶颈,同步与异步训练的收敛取舍,以及联邦学习在数据不出域时怎么组织联合训练。
主题索引
同一批数据要算成什么:分组与归约怎样切、连接在 Map 侧还是 Reduce 侧做、排序与抽样怎样只走一遍、作业图怎样抽象成可复用的片段(管道图、宏、组合聚合),以及这些写法的代价与边界。
主题索引
具体框架的执行模型与接入方式:Storm 拓扑与调优、Spark Streaming 的 RDD 与 DStream 微批、Kafka Streams 的表流对偶、Flume 管道,以及各框架的语义边界与已知坑。
主题索引
从最小二乘与线性/逻辑回归出发,梯度下降、随机梯度、牛顿法、AdaGrad/RMSProp 各自在改什么;L1/L2 惩罚为什么是不同目标;在线学习与专家算法(Hedge、乘性权重、遗憾界)如何在只有过去反馈时更新。
主题索引
TensorFlow 的集群三层、Session/Strategy、变量分片与远程执行怎样把一张图铺到多机;Spark/RDD、Twister、MR 与 MPI 混合怎样支撑迭代计算;MLLib 的 Pipeline 抽象与库能力边界。
主题索引
监督、无监督、强化、在线四类学习方式各自依赖什么假设;把学习写成「假设—损失—优化」之后,泛化、过拟合、维数灾难与评估口径怎么定义,以及一个业务问题该先定分类目标还是先选算法。
主题索引
以图为一等对象的计算怎么做:图为什么和存储耦合、点切与边切怎么权衡、顶点中心编程与消息传递、BSP 超级步与同步异步取舍、迭代代价与检查点,以及连通分量、二度关联这类图算法的落地方式。
主题索引
比较TF-IDF、向量空间模型与相关性反馈等排序依据,以及召回率与精确率在不同检索场景中的取舍。
主题索引
从全量重算转向增量维护:变化怎样传播、结果缓存与复用条件、物化视图的维护成本、Percolator 式快照与提交、观察通知与传播阈值,以及省计算为什么不等于省延迟。
主题索引
这些计算跑在什么上面:大数据的边界怎么定义、平台分几层(存储/计算/调度/资源)、数据湖与湖仓的分工、批流查询引擎各自的位置与切换条件,以及平台从集群到云服务的演进。
主题索引
比较任务型、问答型、闲聊型对话的语义表示、意图与参数、多轮语境与澄清、检索与知识、训练回流与对话平台化设计。
主题索引
从 MP 模型、感知器、ADALINE、Hebb、Hopfield 到 RBF、RBM、玻尔兹曼机,网络怎样从线性判别走到可训练的多层;反向传播、激活函数、逐层预训练、Dropout、梯度弥散各解决什么问题。
主题索引
参数服务器的三角色与两层结构,SSP 用陈旧度下界放宽同步、VAP 限制增量传播;参数分片、缓存新鲜度、拉推周期与二维切分怎样决定训练吞吐,以及宽松同步为什么不自动保证收敛。