返回主题:数据质量与校验

知识卡片

普通读书笔记卡 · 2275.as.6.a.3.a.1.a.1.a

审计字段定位错误批次

理解等级:中级

在高层数据表记录批次、来源、作业和更新时间等审计字段,可追溯异常记录由哪个作业、哪个批次在何时写入,并识别待回退的数据;要定位操作者,还需另存身份标识或关联作业日志。时间旅行可读旧版本,但多作业写同一表时仍需行级来源信息。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Practical Lakehouse Architecture》第8章《Lakehouse in the Real World》(源文件:_epub-src/OEBPS/ch08.html) - 结论依据:原文建议 batch_id、source_id、job_id、update_timestamp 等字段,以定位记录来源、作业和错误批次;原文还提出识别写入用户的目标,但列举字段本身不足以直接定位用户。 - 原始内容:To track which job has loaded which records in lakehouse tables, you can add audit attributes like batch_id, source_id, job_id, and update_timestamp to your lakehouse tables. These audit attributes can help you track each record in these tables and get information like: Which source system sent a specific record Which user loaded the record (service user or