← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1206.g.1

ID打通与置信度选择

理解等级:中级

同一对象在不同业务中有不同标识:一个自然人有身份证、医保账号、水电煤账号、手机设备号、电商账号、聊天账号……每个账号记录不同类型的行为。要全面刻画一个对象,必须先把这些 ID 打通。

做法:为每个对象设一个超级 ID(SUPER-ID)作为唯一标识,各业务系统中的 ID 通过算法规则与它关联。前提是存在 ID 之间的两两映射关系,例如手机号可与身份证号、邮箱账号打通,于是经由手机号,身份证号与邮箱账号也连起来了;完全孤立的 ID 无法打通。

难点在计算量:若某类对象有数亿个体、每个个体有数十种 ID,任意两种 ID 都可能有关系,暴力计算需要数亿亿次,一般集群也无法完成。ID-Mapping 技术用机器学习算法取代野蛮计算:输入 ID 关系对,进行稳定性和收敛性计算,输出关系稳定的 ID 对并生成 SUPER-ID。

误差与置信度:算法打通的两两关系存在误差,用置信度描述,置信度越高误差越小。不同业务按需选择:财务统计要求 100% 置信度,营销推广 80% 可能就够了。

ID 打通是标签体系建设的前提——没有它就收集不到对象的全面信息,也就无法全面标签化刻画。这也意味着标签体系的可信度上限受 ID 打通质量约束,使用标签时要知道它基于何种置信度的打通结果。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据中台:让数据用起来(第2版)》第06章《第6章 数据体系建设》6.4.3 对象ID打通(源文件:extracted/数据中台:让数据用起来(第2版)/_epub-src/OEBPS/Text/0034.xhtml,来源项目 book-sources) - 结论依据:6.4.3节以自然人的多种账号为例说明ID打通的必要性,介绍SUPER-ID与两两映射关系、暴力计算不可行及ID-Mapping算法,提出按业务选择置信度,并指出ID打通是标签体系的前提。 - 原始内容:不同业务可以根据自身的需要选择不同的置信度,比如要做财务统计,就要100%的置信度才行,而如果是做营销推广,80%的置信度可能就可以了。