知识卡片
数据管道的对账监控与新鲜度灾备
内容
数据从Hive同步到线上服务存储时最容易出问题的环节是”同步过程中悄悄丢数据却没人发现”。可靠的做法有两层：一是对账式监控，每次同步后分别统计源表和目标表的行数，数量不一致就触发告警并暂停后续调度，而不是让下游带着不完整数据继续跑；二是给每天的数据加一个”可用状态位”，只有通过对账校验的日期才会被标记为可用，线上接口读取时如果发现当天状态异常，就自动回退读取最近一个可用日期的数据。
参考来源
- 位置：《用户画像：方法论与工程化解决方案》第3章《标签数据存储》（源文件：_epub-src/OEBPS/text00036.html）
- 结论依据：原文围绕“服务层一般采用HBase、Elasticsearch等作为数据库存储标签数据供线上调”给出定义、场景或处理方式，支撑卡片对“数据管道的对账监控与新鲜度灾备”的概括。
- 原始内容：服务层一般采用HBase、Elasticsearch等作为数据库存储标签数据供线上调用，将标签相关数据从Hive数仓向服务层同步的过程中，有出现差错的可能，因此需要记录相关数据在Hive中的数量及同步到对应服务层后的数量，如果数量不一致则触发告警。