返回主题:数据质量与校验

知识卡片

普通读书笔记卡 · 1784.b.2

模式校验尽早暴露错误

理解等级:中级

一段文本符合JSON语法,并不保证它符合业务事实的结构。记录仍可能缺时间戳、字段名不一致,或把应为数字的值写成其他类型。可实施模式预先规定必需字段与值类型,在创建数据时就拒绝不符合结构的对象。它把错误暴露点前移,减少下游读数据时才发现格式失配的排查成本;结构正确仍不等于事实内容真实。

与[[图适合表达关系]]的联系:可实施模式为图事实结构提供创建时校验。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      可实施的模式预先需要做更多的工作,但是它们保证所有必需的字段都存在,并确保所有值是预期的类型。有了这些保证,开发人员将对他们期待的数据充满自信——每个事实都有一个时间戳,用户的名字永远是一个字符串,等等。

    参考来源

    - 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第2章《大数据的数据模型》(来源项目 book-sources;源文件:extracted/大数据系统构建:可扩展实时数据系统构建原理与最佳实践/_epub-src/OEBPS/Text/022.xhtml) - 结论依据:原文通过定义及相邻示例说明上述机制与适用条件;本卡只据当前已读范围解释,不推定实际运行结果。 - 原始内容:可实施的模式预先需要做更多的工作,但是它们保证所有必需的字段都存在,并确保所有值是预期的类型。有了这些保证,开发人员将对他们期待的数据充满自信——每个事实都有一个时间戳,用户的名字永远是一个字符串,等等。