返回主题:状态与容错:状态存哪、错了怎么恢复

此卡片不在当前主题的阅读序列中,可返回主题继续阅读。

知识卡片

普通读书笔记卡 · 1787

规范化先于聚合

理解等级:未标注

URL、用户标识符等输入在聚合前必须先规范化,否则同一对象会被拆成多个键,后续指标会系统性偏差。规范化属于事实解释层,越早进入批处理流程,越能减少下游视图的补丁逻辑。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      所有标准化逻辑都内置在一个函数中,并且可以独立操作每一个URL。

    参考来源

    - 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第8章《批处理层示例:架构和算法》"8.4 URL规范化"一节(源文件:_epub-src/OEBPS/Text/063.xhtml) - 结论依据:原文将URL规范化列为工作流"下一个步骤",明确"规范化包括剥离URL参数、在开始添加'http://'、删除末尾斜杠等",并把它安排在计算批处理视图之前完成,说明规范化作为清洗事实的前置步骤应先于聚合计算执行。 - 原始内容:工作流的下一个步骤是规范化主数据集中的所有URL。完成这项任务的查询需要一个实现了规范化逻辑的自定义函数。规范化包括剥离URL参数、在开始添加"http://"、删除末尾斜杠等。最重要的是,所有标准化逻辑都内置在一个函数中,并且可以独立操作每一个URL。