知识卡片

普通读书笔记卡 · 3877

保留原始标签再做归一化

理解等级:中级

自由文本中的大小写、标点和符号差异是否应合并,取决于具体分析用途;过早归一化会抹掉可能有意义的语义差别,而且原值丢失后难以恢复。先保留原始标签,在明确的分析或展示环节再做可逆变换,能兼顾后续不同问题。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据之美》第17章《数据浅析:探索形形色色的社会定型》(源文件:../程序之美系列套装(6册)团队之美、项目管理之美、架构之美、数据之美、测试之美、安全之美/_epub-src/OEBPS/Text/part0419.xhtml) - 结论依据:原文以“hot”和“HOT!”说明表面相似文本可能承载不同意思,并建议先保留原始值,按具体用途再归并。 - 原始内容:只要可能,我们的本能是慎之又慎,保留原始数据的完整性。这保护了信息;举个例子,标签“hot”和“HOT!”肯定包含不同的语义内容。通常,当针对特定的可视化或者分析,对数据进行归并是更容易的