返回主题:数据质量与校验

知识卡片

普通读书笔记卡 · 3878.a

低频标签先设统计门槛

理解等级:高级

按标签估计性别条件概率时,某标签若只出现一次,偶然落在某一组就会得到极端的比例值。先设置最低频数门槛再比较,可降低小样本造成的虚假特征;门槛会排除稀有信息,因此应随用途和数据规模说明取舍。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据之美》第17章《数据浅析:探索形形色色的社会定型》(源文件:../程序之美系列套装(6册)团队之美、项目管理之美、架构之美、数据之美、测试之美、安全之美/_epub-src/OEBPS/Text/part0420.xhtml) - 结论依据:原文指出单次标签会因分母太小产生满分的误导结果,并以大于100次的门槛为例,直接支持小样本比例需设频数阈值。 - 原始内容:任何只出现一次的标签,它表示的性别就得到满分1(这是由于样本数据量小造成的错误