知识卡片

结构图卡 · 2775.c

八种架构设计模式

理解等级:未标注

没有一种架构模式能解决所有问题,大数据架构设计需要按场景组合使用八种模式。分层:从数据源层→预处理存储层→计算分析层→消费层纵向解耦,各层可独立并行开发和扩展,互不因对方版本升级而受影响。分割:按业务主体横向切分成多个小业务各用各的集群,某个业务模块故障不会连累其他模块。分布式:把一个业务拆成多个子业务分布到不同地方(工作方式),控制系统、接口系统、数据系统、应用系统都可以分布式化。集群:把多台服务器组织成对外统一的整体(物理形态),用来解决海量数据存储与计算的资源压力。缓存:针对数据同步、数据计算、数据查询三种场景插入缓存层,实现”一次加载多次消费”减少重复开销。异步:让功能模块作为独立进程运行,牺牲一定的实现复杂度换取高并发下的响应性能,与同步模式搭配使用而非二选一。灾备:分同城双活(两个数据中心同时对外服务、互为备份,成本高但级别最高)和本地备份(依托Hadoop自带的多副本机制,成本低,适合数据量有限的企业)。自动化:覆盖运维自动化、数据管理自动化(元数据/质量/标签等)、数据挖掘自动化(把建模调优的逻辑固化),是产生”数据智能”的基础。八种模式分别解决纵向解耦、横向隔离、地理分布、算力聚合、重复开销、并发性能、容灾能力、人力投入这八个不同的问题。

结构图:

flowchart TB
  A["大数据架构八种设计模式"]
  A --> B["分层:纵向解耦独立开发"]
  A --> C["分割:横向隔离故障不串联"]
  A --> D["分布式:业务拆分的工作方式"]
  A --> E["集群:多机对外统一的物理形态"]
  A --> F["缓存:同步/计算/查询三场景减少重复开销"]
  A --> G["异步:独立进程换高并发响应性能"]
  A --> H["灾备:同城双活(高成本高级别)<br/>或本地备份(低成本够用)"]
  A --> I["自动化:运维+数据管理+数据挖掘"]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《企业大数据系统构建实战:技术、架构、实施与应用》第6章《大数据架构设计》"6.3 大数据架构设计模式"(源文件:_epub-src/OEBPS/text00082.html) - 结论依据:原文说明"我们总结出大数据架构设计模式需要从分层、分割、分布式、集群、缓存、异步、灾备、自动化几个方面考虑",并逐一展开每种模式的定义、适用场景和具体实现方式,直接支撑本卡结构图。 - 原始内容:结合之前的实际项目经验,我们总结出大数据架构设计模式需要从分层、分割、分布式、集群、缓存、异步、灾备、自动化几个方面考虑