← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1905.a.2.f

标签融合表宜用横表

理解等级:中级

标签融合表有两种组织方式:纵表(类似 K-V,每行是对象的一个标签)和横表(普通二维表,每行一个对象、包含多个标签)。对比:

维度 纵表 横表
模型稳定性 稳定,新增标签只加记录 不稳定,增改标签元数据都要改模型
易用性 只适合单值查询,复杂计算不便 普通二维表,易理解,多数技术面向二维表
性能 1 亿对象 × 1000 个标签 = 1000 亿条记录,任何平台都难处理 增加标签只加列,行数始终等于对象数

大数据时代对象动辄数以亿计,性能必须考虑,而方便易用的数据服务是中台的主要目标,模型不稳定可以用平台技术屏蔽,所以推荐横表。

横表如何分表:

  • 标签众多,一般不用一张表存所有标签,而用多张融合表;
  • 融合表与标签类目对应,同类目的标签尽量放在同一张表;
  • 注意各表标签数量均衡,不要有的表数百个、有的只有几个,某类目标签太多时在下一级类目建表;
  • 若一张表中大部分标签产出较早、个别标签产出特别晚,应把晚产出的标签移出或特殊处理,避免拖慢整张表。

实现步骤与数仓层类似:按规范建表 → 开发加工代码 → 测试 → 发布并配置质量监控与告警 → 持续运维。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 数据体系建设 · 查看原书依据

      大数据时代,用户或者设备动辄数以亿计,性能是不得不考虑的因素,而且方便易用的数据服务是数据中台建设的主要目标,模型的不稳定可以利用平台技术来屏蔽。

    参考来源

    - 位置:《数据中台:让数据用起来(第2版)》第06章《第6章 数据体系建设》6.4.6 标签融合表设计(源文件:extracted/数据中台:让数据用起来(第2版)/_epub-src/OEBPS/Text/0034.xhtml,来源项目 book-sources) - 结论依据:6.4.6节比较纵表与横表在模型稳定性、易用性和性能上的差异并推荐横表,说明按标签类目分表、保持标签数量均衡及处理产出时间差异的原则;6.4.7节给出实现步骤。 - 原始内容:大数据时代,用户或者设备动辄数以亿计,性能是不得不考虑的因素,而且方便易用的数据服务是数据中台建设的主要目标,模型的不稳定可以利用平台技术来屏蔽。