知识卡片

普通读书笔记卡 · 2275.as.6.j.2

分析负载与生产负载分离

理解等级:中级

生产系统偏向写入和近期单用户查询,分析侧处理历史汇总、过滤和数据挖掘。将合适的数据同步到分析平台,可减少重分析对生产的直接压力。同步链路仍有延迟与一致性约束,关系型数据库是否适用也要按数据量和查询模式判断。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 大数据时代变革 10.2.1 数据应用的发展历程 · 查看原书依据

      如图10-2所示,主数据库集群专门负责海量数据的写入与近期单用户的实时查询,而更多的数据分析、统计、过滤查询与数据应用都是在查询库中进行的。由于查询库存储了海量的历史数据,因此关系型数据库不再适用,分布式大数据平台出现了。该平台采用了基于Hadoop的分布式大数据技术,将海量历史数据分散存储在大量廉价的PC服务器组成的集群中,既降低了存储成本,又可以并行计算,大幅度提升了数据查询、分析与应用的运行效率。

    参考来源

    - 位置:《架构真意企业级应用架构设计方法论与实践》第10章《大数据时代变革》“10.2.1 数据应用的发展历程”(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/架构真意企业级应用架构设计方法论与实践/_epub-src/EPUB/xhtml/chapter134.xhtml)。 - 结论依据:原文的具体说明支撑这一概括:生产系统偏向写入和近期单用户查询,分析侧处理历史汇总、过滤和数据挖掘。其余范围限定用于避免超出书内证据。 - 原始内容:如图10-2所示,主数据库集群专门负责海量数据的写入与近期单用户的实时查询,而更多的数据分析、统计、过滤查询与数据应用都是在查询库中进行的。由于查询库存储了海量的历史数据,因此关系型数据库不再适用,分布式大数据平台出现了。该平台采用了基于Hadoop的分布式大数据技术,将海量历史数据分散存储在大量廉价的PC服务器组成的集群中,既降低了存储成本,又可以并行计算,大幅度提升了数据查询、分析与应用的运行效率。