知识卡片
四种存储组件分工
大数据平台的存储层通常按数据特征分四种组件承接,而不是一种存储包打天下。HDFS:作为最底层的分布式文件系统,专为海量文件的低成本高效存储而生,典型文件大小在G到T字节级别,文本、文档、图片、视频等大文件都适合直接落在HDFS上。Hive:没有专门的存储格式也不建索引,但提供类SQL能力,把大数据能力开放给不懂编程的人,最适合用来搭建离线数据仓库、存储单表海量结构化数据。HBase:以列式方式存储,读某些列时只需读相关列块进内存,压缩比更高、IO更少,同时所有操作本质都是追加写(更新和删除都是插入一条新记录),因此特别适合”大量插入同时又要读”的在线表数据场景。MySQL:并没有被大数据组件淘汰,而是专门留给数据量小(MB级)但逻辑关系复杂、需要即时查询的场景(如员工名单、财务数据),用HDFS/Hive/HBase处理这类数据反而是”杀鸡用牛刀”。四者的选型逻辑本质是按”数据量级”和”访问模式”两个维度分工,而非能力高低之分。
结构图:
flowchart TB
A["存储组件选型:按数据量级与访问模式分工"]
A --> B["HDFS:海量大文件<br/>文本/图片/视频的低成本存储"]
A --> C["Hive:离线数据仓库<br/>单表海量结构化数据+类SQL"]
A --> D["HBase:列式存储<br/>大量插入+在线读,追加写降低IO"]
A --> E["MySQL:小数据量+复杂逻辑关系<br/>即时查询场景,未被淘汰"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《企业大数据系统构建实战:技术、架构、实施与应用》第7章《大数据技术开发》"7.2 数据存储"(源文件:_epub-src/OEBPS/text00089.html、text00090.html、text00091.html、text00092.html)
- 结论依据:原文分别说明"HDFS本身就是为了解决海量数据文件的低成本高效存储而产生的""使用Hive构建离线数据仓库,用来存储单表海量数据依然是最优的方案""HBase适合大量插入同时又有读的情况……所以适合在线表数据集的存储""My SQL是小数据量存储和复杂逻辑关系数据存储的最优解决方案",直接支撑本卡结构图的分工逻辑。
- 原始内容:其实HDFS本身就是为了解决海量数据文件的低成本高效存储而产生的……使用Hive构建离线数据仓库,用来存储单表海量数据依然是最优的方案……HBase适合大量插入同时又有读的情况……My SQL是小数据量存储和复杂逻辑关系数据存储的最优解决方案