知识卡片

普通读书笔记卡 · 6242.a

标准化统一表示而非抹平差异

理解等级:中级

标准化把大小写、缩写、后缀等不同写法映射到可比较的表示,使同义记录不因文本差异被分开计数。例如CTO和Chief Technology Officer可在确定语境下归一;这不意味着所有相近字符串都代表同一职位或公司。规则需保留能影响问题的重要区别,最好保留原始值以供检查。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 2 处

    • · 查看原书依据

      Chief Technology Officer”这样的名称,然而另外一个总经理可能会选择更含糊的名称“CTO”,并且仍然会有其他各种各样的名称来表达相同的职位。我们将会再次讨论数据标准化的问题,并随后实现一种对LinkedIn数据的特定方面进行处理的模式。 相似度计算 假设你拥有良好标准化的条目,你需要计算它们中任两个的相似度,它们可能是职位名称、公司名字

    • · 查看原书依据

      O’Reilly & Associates、O’Reilly Media、O’Reilly Inc.或只是O’Reilly。[2] 3.3.2.2 标准化及计算职位的数量 可能正如所期望的那样,当考虑职位名称的时候出现了和标准化公司名称相同的问题,不同的是这个问题变得更糟糕了,因为职位的名称有更多的变化。表3-1列出了你可能会在软件公司遇到的一些职位名称,它

    参考来源

    - 位置:《社交网站的数据挖掘与分析(原书第2版)》第3章《3.3 数据聚类速成》(spine79;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0068.html;u047-ch03-006)。 - 结论依据:原文在“Chief Technology Officer”附近的定义、例子或代码支撑本卡核心说明:标准化把大小写、缩写、后缀等不同写法映射到可比较的表示,使同义记录不因文本差异被分开计数。边界按已读前提解释;示例未执行。 - 原始内容:Chief Technology Officer”这样的名称,然而另外一个总经理可能会选择更含糊的名称“CTO”,并且仍然会有其他各种各样的名称来表达相同的职位。我们将会再次讨论数据标准化的问题,并随后实现一种对LinkedIn数据的特定方面进行处理的模式。 相似度计算 假设你拥有良好标准化的条目,你需要计算它们中任两个的相似度,它们可能是职位名称、公司名字 - 位置:《社交网站的数据挖掘与分析(原书第2版)》第3章《3.3.2 标准化数据以便分析》(spine79;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0068.html;u049-ch03-006)。 - 结论依据:公司历史名称和职位缩写说明简单去后缀不足以完成实体归并。 - 原始内容:O’Reilly & Associates、O’Reilly Media、O’Reilly Inc.或只是O’Reilly。[2] 3.3.2.2 标准化及计算职位的数量 可能正如所期望的那样,当考虑职位名称的时候出现了和标准化公司名称相同的问题,不同的是这个问题变得更糟糕了,因为职位的名称有更多的变化。表3-1列出了你可能会在软件公司遇到的一些职位名称,它