← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2280.h.1.a.14.l

反向ETL与失控反馈

理解等级:中级

反向 ETL:把数据从 OLAP 数据库供应回源系统,2020 年前后流行起来,逐渐成为数据工程的正式工作。作者半开玩笑称之为双向加载和转换(BLT)——“反向 ETL”并不准确,但已广为流传;无论名字是否留存,把数据从 OLAP 送回源系统的操作会长久存在。

为什么需要:数据工程师从 CRM 拉取客户和订单数据到数仓,训练出线索评分模型,结果写回数仓。销售团队想用评分后的线索提高销量——可以放在仪表板上,或用 Excel 邮件发给销售。但问题是数据没有连接到 CRM。好的数据产品要减少与终端用户的摩擦,最简单好用的方法是用反向 ETL 把评分线索直接加载回销售熟悉的 CRM。

选型:可以自建,但建议使用开源工具或收费服务。该领域日新月异,尚无赢家,许多产品可能被云供应商或其他数据厂商收购,要慎重选型。

反向 ETL 本质上会产生反馈循环:例如下载 Google Ads 数据 → 模型计算新出价 → 把出价加载回 Google Ads → 周而复始。如果出价模型有错误,出价可能越来越高,广告获得越来越多点击,这个循环很快会浪费你很多钱。要小心使用反向 ETL,密切监控并防止失控。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第09章《第9章 为分析、机器学习和反向ETL提供数据服务》9.6 反向ETL(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0015.xhtml,来源项目 book-sources) - 结论依据:9.6节定义反向ETL及其BLT别称,以线索评分写回CRM说明其减少用户摩擦的价值,给出选型建议,并警示广告出价反馈循环可能失控浪费资金。 - 原始内容:如果出价模型中有错误,则出价有可能会越来越高,而广告也因此得到越来越多的点击。