此卡片不在当前主题的阅读序列中,可返回主题继续阅读。
知识卡片
规范化先于聚合
URL、用户标识符等输入在聚合前必须先规范化,否则同一对象会被拆成多个键,后续指标会系统性偏差。规范化属于事实解释层,越早进入批处理流程,越能减少下游视图的补丁逻辑。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
所有标准化逻辑都内置在一个函数中,并且可以独立操作每一个URL。
参考来源
- 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第8章《批处理层示例:架构和算法》"8.4 URL规范化"一节(源文件:_epub-src/OEBPS/Text/063.xhtml)
- 结论依据:原文将URL规范化列为工作流"下一个步骤",明确"规范化包括剥离URL参数、在开始添加'http://'、删除末尾斜杠等",并把它安排在计算批处理视图之前完成,说明规范化作为清洗事实的前置步骤应先于聚合计算执行。
- 原始内容:工作流的下一个步骤是规范化主数据集中的所有URL。完成这项任务的查询需要一个实现了规范化逻辑的自定义函数。规范化包括剥离URL参数、在开始添加"http://"、删除末尾斜杠等。最重要的是,所有标准化逻辑都内置在一个函数中,并且可以独立操作每一个URL。