← 返回刚才阅读的位置

知识卡片

延伸参考卡 · 9745.i · 生成模型:DeepSeek-V4.1-Flash

Hadoop 为何适合大数据

理解等级:中级

是什么 Apache Hadoop 是开源框架,2005 年由 Doug Cutting 与 Mike Cafarella 设计实现,基于 MapReduce 计算范式,用来处理各种不同结构的数据。

为什么能扛住大数据 - 分布式文件系统:数据切块分散到集群多台机器,而不是塞进一台高端服务器; - 商用硬件:用大量普通机器组成集群,靠软件层做容错与调度,成本随规模近似线性增长; - 高度并行:把计算推到数据附近执行,适合海量、难以操作的非传统结构数据。

典型场景 社交媒体:Twitter、Facebook 每天产生海量非结构化数据,用 Hadoop 及其生态工具管理事务、更新文字信息、生成数百万用户间的社交图谱。日志、点击流等场景同理。

边界 它是以吞吐为先的批处理路线,不是所有分析的默认答案:小数据、强交互、低延迟的查询,传统数据仓库往往更划算。选型要看数据形态与时限要求,而不是看热度;后续章节还会展开其计算范式与生态工具。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第1章 大数据分析介绍 · 查看原书依据

      Apache Hadoop是一款开源框架,允许公司以高度并行的方式处理大量的信息。Hadoop是由Doug Cutting和Mike Cafarella在2005年设计和实现的一种基于MapReduce计算范式的系统,被用于处理各种不同结构的数据。

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第1章 大数据分析介绍(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0011_split_004.html) - 结论依据:1.4 节介绍 Hadoop 的开源属性、MapReduce 范式、分布式文件系统与商用硬件优势,并给出社交媒体中的使用案例,指向第 10 章的展开。 - 原始内容:Apache Hadoop是一款开源框架,允许公司以高度并行的方式处理大量的信息。Hadoop是由Doug Cutting和Mike Cafarella在2005年设计和实现的一种基于MapReduce计算范式的系统,被用于处理各种不同结构的数据。