知识卡片
低频标签先设统计门槛
按标签估计性别条件概率时,某标签若只出现一次,偶然落在某一组就会得到极端的比例值。先设置最低频数门槛再比较,可降低小样本造成的虚假特征;门槛会排除稀有信息,因此应随用途和数据规模说明取舍。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第17章 数据浅析:探索形形色色的社会定型 · 查看原书依据
任何只出现一次的标签,它表示的性别就得到满分1(这是由于样本数据量小造成的错误
参考来源
- 位置:《数据之美》第17章《数据浅析:探索形形色色的社会定型》(源文件:../程序之美系列套装(6册)团队之美、项目管理之美、架构之美、数据之美、测试之美、安全之美/_epub-src/OEBPS/Text/part0420.xhtml)
- 结论依据:原文指出单次标签会因分母太小产生满分的误导结果,并以大于100次的门槛为例,直接支持小样本比例需设频数阈值。
- 原始内容:任何只出现一次的标签,它表示的性别就得到满分1(这是由于样本数据量小造成的错误