知识卡片
日志异步采集隔离分析负担
业务程序尽量只产生必要日志,由独立采集与消息链路送往分析平台,再解析成结构化记录。这样把后续重处理移到其他系统,减少对生产路径的直接占用。写日志和采集仍会使用资源,也要设计失败与积压处理,不能说对原系统完全没有影响。
结构图:
flowchart LR
A[业务程序产生日志] --> B[独立采集]
B --> C[消息队列]
C --> D[流处理解析]
D --> E[分析存储与应用]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 大数据时代变革 10.3.2 数据中台建设的核心 · 查看原书依据
在这个过程中,原有的应用系统只需要在业务处理过程中写日志,而后续的处理与原有的应用系统无关,交由另一套系统去处理。整个数据采集过程既可以采集数据,又对原有的应用系统影响极小。
参考来源
- 位置:《架构真意企业级应用架构设计方法论与实践》第10章《大数据时代变革》“10.3.2 数据中台建设的核心”(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/架构真意企业级应用架构设计方法论与实践/_epub-src/EPUB/xhtml/chapter138.xhtml)。
- 结论依据:原文的具体说明支撑这一概括:业务程序尽量只产生必要日志,由独立采集与消息链路送往分析平台,再解析成结构化记录。其余范围限定用于避免超出书内证据。
- 原始内容:在这个过程中,原有的应用系统只需要在业务处理过程中写日志,而后续的处理与原有的应用系统无关,交由另一套系统去处理。整个数据采集过程既可以采集数据,又对原有的应用系统影响极小。