知识卡片
标签融合表宜用横表
标签融合表有两种组织方式:纵表(类似 K-V,每行是对象的一个标签)和横表(普通二维表,每行一个对象、包含多个标签)。对比:
| 维度 | 纵表 | 横表 |
|---|---|---|
| 模型稳定性 | 稳定,新增标签只加记录 | 不稳定,增改标签元数据都要改模型 |
| 易用性 | 只适合单值查询,复杂计算不便 | 普通二维表,易理解,多数技术面向二维表 |
| 性能 | 1 亿对象 × 1000 个标签 = 1000 亿条记录,任何平台都难处理 | 增加标签只加列,行数始终等于对象数 |
大数据时代对象动辄数以亿计,性能必须考虑,而方便易用的数据服务是中台的主要目标,模型不稳定可以用平台技术屏蔽,所以推荐横表。
横表如何分表:
- 标签众多,一般不用一张表存所有标签,而用多张融合表;
- 融合表与标签类目对应,同类目的标签尽量放在同一张表;
- 注意各表标签数量均衡,不要有的表数百个、有的只有几个,某类目标签太多时在下一级类目建表;
- 若一张表中大部分标签产出较早、个别标签产出特别晚,应把晚产出的标签移出或特殊处理,避免拖慢整张表。
实现步骤与数仓层类似:按规范建表 → 开发加工代码 → 测试 → 发布并配置质量监控与告警 → 持续运维。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 数据体系建设 · 查看原书依据
大数据时代,用户或者设备动辄数以亿计,性能是不得不考虑的因素,而且方便易用的数据服务是数据中台建设的主要目标,模型的不稳定可以利用平台技术来屏蔽。
参考来源
- 位置:《数据中台:让数据用起来(第2版)》第06章《第6章 数据体系建设》6.4.6 标签融合表设计(源文件:extracted/数据中台:让数据用起来(第2版)/_epub-src/OEBPS/Text/0034.xhtml,来源项目 book-sources)
- 结论依据:6.4.6节比较纵表与横表在模型稳定性、易用性和性能上的差异并推荐横表,说明按标签类目分表、保持标签数量均衡及处理产出时间差异的原则;6.4.7节给出实现步骤。
- 原始内容:大数据时代,用户或者设备动辄数以亿计,性能是不得不考虑的因素,而且方便易用的数据服务是数据中台建设的主要目标,模型的不稳定可以利用平台技术来屏蔽。