知识卡片
大数据六层技术体系分层架构
大数据从产生到创造价值的完整链路可拆成六层,每一层对应数据生命周期的一个环节,且各层有截然不同的设计约束。数据收集层要面对数据源的分布式、异构、多样、流式产生四个特点,因此收集系统必须具备扩展性(接入海量数据源不产生瓶颈)、可靠性(传输不丢失)、安全性和低延迟;数据存储层要满足扩展性(线性扩容)、容错性(假设构建在廉价机器上、必须容忍机器故障)和多样的存储模型(结构化/非结构化并存);资源管理与服务协调层的存在理由是把”一个应用一个集群”的旧模式升级为”多应用共享集群”,用统一调度换取资源利用率提升、运维成本下降和跨集群数据移动成本的消除,同时把leader选举、分布式锁等通用协调问题下沉成公共组件;计算引擎层因为”系统吞吐率越高、处理延迟往往也越高”这对矛盾无法被单一系统同时满足,所以朝”小而美”方向演化出批处理、交互式、实时三类专用引擎;数据分析层为计算引擎套上API/类SQL/挖掘SDK等易用工具;数据可视化层直接面向用户,是大数据价值的”最后一公里”。可迁移启发:拆解任何一个端到端数据系统时,可以借用”收集-存储-协调调度-计算-分析-可视化”这条链路作为检查清单,逐层追问该层的核心矛盾(比如存储层的”扩展性 vs 容错性 vs 成本”、计算引擎层的”吞吐率 vs 延迟”),比记住某个具体工具的用法更能迁移到新场景。
结构图:
flowchart TB
A["数据收集层<br/>扩展性/可靠性/安全性/低延迟"] --> B["数据存储层<br/>扩展性/容错性/多样存储模型"]
B --> C["资源管理与服务协调层<br/>共享集群+统一调度<br/>+leader选举/锁等通用协调组件"]
C --> D["计算引擎层<br/>批处理(高吞吐)/交互式(秒级)/实时(毫秒-秒级)<br/>吞吐率与延迟不可兼得,故走小而美路线"]
D --> E["数据分析层<br/>API/类SQL/挖掘SDK"]
E --> F["数据可视化层<br/>面向用户的价值门户"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第1章《企业级大数据技术体系概述》之"1.2 企业级大数据技术框架"(源文件:_epub-src/OEBPS/text00006.html)
- 结论依据:原文说明"大数据从数据源开始,经过分析、挖掘到最终获得价值一般需要经过6个主要环节,包括数据收集、数据存储、资源管理与服务协调、计算引擎、数据分析和数据可视化……为了解决不同场景下数据处理问题,起初有人尝试构建一个大统一的系统解决所有类型的数据计算问题,但最终以失败告终……系统吞吐率非常高时,数据处理延迟往往也非常高",直接支撑本卡六层结构图与各层核心矛盾的结论。
- 原始内容:为了防止不同应用之间相互干扰,传统做法是将每类应用单独部署到独立的服务器上。该方案简单易操作,但存在资源利用率低、运维成本高和数据共享困难等问题。