知识卡片
规范化先于聚合
内容
URL、用户标识符等输入在聚合前必须先规范化，否则同一对象会被拆成多个键，后续指标会系统性偏差。规范化属于事实解释层，越早进入批处理流程，越能减少下游视图的补丁逻辑。
参考来源
- 位置：《大数据系统构建：可扩展实时数据系统构建原理与最佳实践》第8章《批处理层示例：架构和算法》"8.4 URL规范化"一节（源文件：_epub-src/OEBPS/Text/063.xhtml）
- 结论依据：原文将URL规范化列为工作流"下一个步骤"，明确"规范化包括剥离URL参数、在开始添加'http://'、删除末尾斜杠等"，并把它安排在计算批处理视图之前完成，说明规范化作为清洗事实的前置步骤应先于聚合计算执行。
- 原始内容：工作流的下一个步骤是规范化主数据集中的所有URL。完成这项任务的查询需要一个实现了规范化逻辑的自定义函数。规范化包括剥离URL参数、在开始添加"http://"、删除末尾斜杠等。最重要的是，所有标准化逻辑都内置在一个函数中，并且可以独立操作每一个URL。