返回主题:数据集成与分拆:一份真源与多份衍生

知识卡片

普通读书笔记卡 · 1769.u.2.a.1.a

快照与增量日志分工

理解等级:中级

Bootstrap订阅Relay的更新,由Log Writer保存增量日志,再由Log Applier把更新应用到快照存储。两种表示分别服务按位置重放和快速获得状态,具有不同职责。不能把快照当作所有历史记录,也不能因保存了日志就省略更新应用的幂等、进度和错误处理问题。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 数据通道 · 查看原书依据

      Bootstrap像其他客户端一样侦听中继器的数据变化,并采用Log Writer将更新数据写入增量更新存储区(Log Storage),在具体实现时使用了MySQL数据库。Log Applier批量地将更新合并进入快照存储区(Snapshot Storage),形成不同时间点的快照,具体实现时快照是使用文件方式存储的。当新客户端发出请求时,首先从快照存储区读取某个时间点T 的数据快照,然后从增量更新存储区读取时间点T 之后的增量更新,之后即可转向中继器去捕获最新的数据变化信息。

    参考来源

    - 位置:《大数据日知录:架构与算法》7(源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00012.html) - 结论依据:本章实际原文及必要原图;产品与性能描述保留2014年版本范围。校正的官方入口及实际阅读范围见50-root-official.json。 - 原始内容:Bootstrap像其他客户端一样侦听中继器的数据变化,并采用Log Writer将更新数据写入增量更新存储区(Log Storage),在具体实现时使用了MySQL数据库。Log Applier批量地将更新合并进入快照存储区(Snapshot Storage),形成不同时间点的快照,具体实现时快照是使用文件方式存储的。当新客户端发出请求时,首先从快照存储区读取某个时间点T 的数据快照,然后从增量更新存储区读取时间点T 之后的增量更新,之后即可转向中继器去捕获最新的数据变化信息。