知识卡片

普通读书笔记卡 · 2274.g.2.a.1.a.2.f

计算成本的五种浪费

理解等级:中级

计算成本比存储高得多:CPU、内存是稀缺资源,大量计算还带来散热和机房环境成本(有企业把数据中心建在千岛湖、贵州山里或内蒙古以降温、降电费)。除专属硬件和指令优化外,作者关注加工逻辑和运营手段,总结出五种常见浪费:

  1. 重复计算:数据使用者多为业务方、场景分散,常见集群排满任务相互等待,而逻辑大量重复。例如两人分别关联同样 5 张源表加工出结果表 A 和 B。识别信号有:任务名、表名、字段名相似且抽样结果相似(达到阈值自动邮件提醒责任人合并或解释);多个抽取任务来自同一源表,把同样数据多次复制到 ODS;读取相同表、输出相同结果、使用相同函数的类似计算;结果可相互替代的类似产出。对策是量化输入、输出重复度,设定需要推进优化的阈值并配合考核。
  2. 冗余计算:因能力或考虑不周忽略限定条件,导致处理量过大、耗时过长。可提取“数据量—处理耗时”的算力基线和输入量合理性基线来发现不合理逻辑。
  3. 低价值计算:加工结果没有被业务直接使用;或最近半年每个周期结果都为空的“空跑表”。
  4. 调度不合理:人人都认为自己的任务优先级最高。可根据上下游时间要求判断:下游 23 点处理完即可,却要求上游凌晨 6 点完成,就不合理;上游 23 点才产出、下游却要求凌晨 6 点完成,则逻辑矛盾。据此重新分配调度资源,让作业见缝插针地利用算力。
  5. 频率不符:产出表每小时甚至每分钟更新,而使用它的业务只需要 T+1 数据。

这五类中,重复、低价值和频率不符都可以通过对比“生产”与“使用”两侧的元数据自动发现,这也是元数据和血缘管理在成本运营上的直接价值。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第9章 数据中台运营机制 · 查看原书依据

      例如:下游作业在23点处理完即可,却要求上游作业必须在当天凌晨6点完成,这时调度可能就不是很合理;如果上游作业的加工产出时间是23点,而下游作业却要在当天凌晨6点完成,则逻辑上是完全矛盾的。

    参考来源

    - 位置:《数据中台:让数据用起来(第2版)》第09章《第9章 数据中台运营机制》9.4 数据成本运营·计算成本(源文件:extracted/数据中台:让数据用起来(第2版)/_epub-src/OEBPS/Text/0052.xhtml,来源项目 book-sources) - 结论依据:9.4节“计算成本”说明计算成本高于存储的原因,归纳重复计算(命名相似、相同源头、计算类似、产出类似及重复度量化)、冗余计算(算力与输入量基线)、低价值计算(无人使用与空跑表)、调度不合理(上下游时间要求比较)、频率不符五类问题。 - 原始内容:例如:下游作业在23点处理完即可,却要求上游作业必须在当天凌晨6点完成,这时调度可能就不是很合理;如果上游作业的加工产出时间是23点,而下游作业却要在当天凌晨6点完成,则逻辑上是完全矛盾的。