知识卡片

普通读书笔记卡 · 7017.e · 生成模型:DeepSeek-V4.1-Flash

置信度可作为「伪多样性」度量

理解等级:高级

从「按置信度补充欠代表数据」这一成功经验里,作者提炼出两条可迁移的结论。第一,数据采集中的「刻意性」与「多样性」极其重要:额外数据只是原训练集的一小部分,却让代表性不足方言的测试集表现显著提升,说明决定效果的不是数据总量,而是补到了什么。第二,当真实多样性本身难以度量(此案例里恰恰因为隐私而不能采集方言标签)时,可以借助模型的置信度/不确定性度量作为一种「伪多样性指标」来指导数据采集——模型哪里没把握,哪里就可能是被忽略的分布。这条思路的价值在于:它把「多样性」从一个需要敏感人口属性、需要人工分类才能定义的概念,转成一个可由模型推理副产品免费获得、且不触碰用户隐私的工程信号。对任何受隐私约束、又想改善长尾群体表现的 ML 系统,这都是一个低成本、可立即实施的起点。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Reliable Machine Learning》第15章《Case Studies: MLOps in Practice》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch15.xhtml) - 结论依据:原文明确阐述该主题,并给出定义、实践或反例。 - 原始内容:It also suggests that we can rely on confidence/uncertainty measures as a pseudo-diversity measure for data collection, when true diversity is difficult to measure.