此卡片不在当前主题的阅读序列中,可返回主题继续阅读。
知识卡片
存储组件分工共存
常见误区是把关系库数据全导进 Hadoop 后废弃关系库,结果即时查询变慢;或只把日志写进 NoSQL,导致无法与关系数据关联分析。成熟的做法是分工共存:Hadoop 存原始数据和离线数据,Spark、Storm 等生成实时数据,关系库和内存库提供在线查询。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《企业大数据系统构建实战:技术、架构、实施与应用》第6章《大数据架构设计》"6.1 大数据架构设计原则"之"数据存储的共存性原则"(源文件:_epub-src/OEBPS/text00080.html)
- 结论依据:原文说明"企业级大数据平台中的数据存储和存储之后相关的处理、分析挖掘和即时查询等功能,最成熟的存储架构应该还是基于Hadoop系列、关系型数据库、分析挖掘工具和查询分析语言等所有组件的全面搭配使用,而不是仅仅依赖某一两种",并明确划分"离线数据""实时数据""在线数据"三种数据形态各自的存储归属,直接支撑本卡结论。
- 原始内容:所以企业大数据平台数据存储的共存性原则是:在Hadoop平台上存储包括了结构化和非结构化的原始数据,以及基于原始数据进行分析挖掘的"离线数据",同时配合经过Spark、Strom进行流式和即时处理的"实时数据";最后在关系型数据库和内存数据库中存储……"在线数据"