知识卡片

普通读书笔记卡 · 7014.f · 生成模型:DeepSeek-V4.1-Flash

预测错误的代价决定护栏强度

理解等级:高级

ML 需求的选择要小心地结合设计与业务目标,PM 必须理解终端用户与长期业务目标才能驱动价值:以 yarnit.ai 为例,我们想让顾客更容易找到并买到更多想要的商品,并且希望每次回访都重复发生;否则风险是造出一个极其强大的系统,却只解决了一个很小甚至根本不存在的问题。ML 很少零误差,开发时不设护栏后果可能很严重,而且「弄错会付出多大代价」本身就是构建 ML 产品的重要部分。作者用两个场景对比:若模型替客服在用户就订单错误或账单问题求助时预测并取消订单,误把用户意图判成取消会给用户和公司带来财务后果;而商品详情页为无购买历史的用户推荐相似商品,坏推荐的代价可能只是转化率偏低,以及一点「这店不太可信或不太有用」的模糊感受,并不灾难性。ML 在很大程度上依赖概率,模型总有给错输出的可能,PM 的责任就是预判并识别错误预测的后果,反复测试、理解模型概率由何构成,并从业务目的出发决定期望的精确率与召回率。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • How Product and ML Interact · 查看原书依据

      ML is rarely error free, and developing without guardrails can have serious consequences. We need to acknowledge that getting it wrong could carry huge costs and that understanding the cost of getting it wrong is a significant part of building an ML product.

    参考来源

    - 位置:《Reliable Machine Learning》第12章《How Product and ML Interact》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch12.xhtml) - 结论依据:原文明确阐述该主题,并给出定义、实践或反例。 - 原始内容:ML is rarely error free, and developing without guardrails can have serious consequences. We need to acknowledge that getting it wrong could carry huge costs and that understanding the cost of getting it wrong is a significant part of building an ML product.