知识卡片

普通读书笔记卡 · 2280.j.3.a

日志三要素与编码

理解等级:初级

CDC(变更数据捕获):提取数据库中每个变更事件(插入、更新、删除),常用于近实时的库间复制,或为下游生成事件流。关系库通常直接生成服务器上的事件日志,可加工成流;许多云端 NoSQL 可把日志或事件流发到目标存储。

日志是丰富的数据源:来源包括操作系统、应用、服务器、容器、网络、物联网设备。任何日志至少要记录三件事: - 谁:关联的人、系统或服务账号(如浏览器 User-Agent、用户 ID); - 发生了什么:事件和相关元数据; - 什么时候:事件时间戳。

三种编码: - 二进制日志:自定义紧凑格式,空间和 I/O 效率高,数据库日志是典型; - 半结构化日志:JSON 等序列化文本,机器可读、可移植,但效率远低于二进制,名义上可读却常需大量自定义代码才能提取价值; - 纯文本日志:控制台输出,没有通用标准,抽取有用信息复杂。

分辨率与等级:日志分辨率指一条日志捕获多少事件数据——数据库日志足以重建任意时间点的状态,而大数据系统往往只记录发生了某类提交;日志等级指写一条日志的条件(全部事件还是仅错误)。日志可以批量写文件,也可以逐条写入 Kafka、Pulsar 供实时使用。

数据库预写日志(WAL):以库特定格式存储的二进制文件。服务器在确认写请求之前先把操作写入日志,因此即使宕机,重启时也能完成日志中未完成的工作恢复状态。它也是 CDC 生成事件流的基础。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第05章《第5章 源系统中的数据生成》5.2.5 变更数据捕获;5.2.6 日志;5.2.7 数据库日志(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0011.xhtml,来源项目 book-sources) - 结论依据:5.2.5节介绍CDC;5.2.6节介绍日志来源、谁/发生了什么/什么时候三要素、三种编码、分辨率与等级、批处理或实时写入;5.2.7节说明预写日志的恢复保证及其对CDC的价值。 - 原始内容:至少,日志应该记录谁、发生了什么和什么时候: