知识卡片
十项核心架构要素
大数据平台架构设计需要同时兼顾十项要素。前瞻性:架构和平台保持统一稳定、紧跟开源社区技术演进、尽量复用原有硬件资源。可扩展:服务器计算节点、数据结构、ETL处理、平台接口都要能动态扩容而不推倒重来。开放性:优先选开源版本或贴近开源的商业版本(而非被单一厂商的”硬软件一体化”绑定),软硬件分层解耦。高性能:在有限硬件资源下尽量支撑更多数据服务需求和峰值压力(例如分布式系统15分钟处理1亿条记录,传统关系库同等时间只能处理100万条)。稳定性:局部数据模型的扩展不影响其他模型,节点故障能实时无缝切换。安全性:覆盖数据资源防篡改、数据范围权限过滤、传输加解密三个层面。易维护:硬件选通用低价品牌、Hadoop用现成监控工具、应用系统配诊断工具。实用性:从单一需求最小规模起步,先用开源方案,避免跟风部署用不上的组件。高可用:通过ETL组件、数据模型、公共组件、硬件部署的复用来减少重复投入。统一管理:把硬件监控和Hadoop平台监控集成进一体化管理平台,实现用户资源隔离和任务优先级调度。十项要素共同回答的是同一个问题——一个大数据平台要活得久、扩得动、维护得起,缺一不可。
结构图:
flowchart TB
A["大数据核心架构十要素"]
A --> B["前瞻性/可扩展/开放性<br/>面向未来的技术选型"]
A --> C["高性能/稳定性/安全性<br/>运行质量三项底线"]
A --> D["易维护/实用性/高可用<br/>控制投入与复用成本"]
A --> E["统一管理<br/>把前面九项收拢到一个管控平台"]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《企业大数据系统构建实战:技术、架构、实施与应用》第6章《大数据架构设计》"6.2 大数据核心架构要素"(源文件:_epub-src/OEBPS/text00081.html)
- 结论依据:原文列出"前瞻性、可扩展、开放性、高性能、稳定性、安全性、易维护、实用性、高可用、统一管理"十项要素,并逐一展开各自的具体考察点,例如"分布式计算系统有能力在15分钟内处理1亿条以上的记录,而传统的关系型数据库则在相同时间内只能最高处理100万条记录",直接支撑本卡结构图。
- 原始内容:结合我们之前大数据平台设计和实施的项目经验,总结出大数据架构设计原则的基本要素如下:前瞻性、可扩展、开放性、高性能、稳定性、安全性、易维护、实用性、高可用、统一管理