知识卡片

普通读书笔记卡 · 6240.a

词型比例依赖语料和切词

理解等级:中级

本节词汇丰富性是类型—词次比:互异token数除以全部token数。结果受切词、大小写归并、重复内容和语料范围影响,比较对象时先统一这些条件。对昵称和标签使用同一公式得到的是这些实体的互异比例,不应仍直接叫自然语言表达能力;数值也不自动证明话题宽泛或营销有效。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 2 处

    • · 查看原书依据

      不重复的单词的个数除以文本中所有单词个数得到的表达式,这是非常基本但是却很重要的度量方式。在人际交流中,词汇丰富性是一个非常有趣的概念,因为它为某个人或团体的词汇丰富性提供了定量的度量。例如,设想一下,你正在听某个人重复地说“and stuff”概括的描述信息而不是提供具体的例子的方法去通过细节强调观点。现在,我们将这个说话者和其他很少说“stuff”一词,

    • · 查看原书依据

      len(set(tokens))/len(tokens) # A nested helper function for computing the average number of words per tweet def average_words(statuses): total_words = sum([ len(s.split()) for s in

    参考来源

    - 位置:《社交网站的数据挖掘与分析(原书第2版)》第1章《1.4.3 计算推文的词汇丰富性》(spine65;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0054.html;u025-ch01-028)。 - 结论依据:原文在“不重复的单词的个数除以文本中所有单词个数”附近的定义、例子或代码支撑本卡核心说明:本节词汇丰富性是类型—词次比:互异token数除以全部token数。边界按已读前提解释;示例未执行。 - 原始内容:不重复的单词的个数除以文本中所有单词个数得到的表达式,这是非常基本但是却很重要的度量方式。在人际交流中,词汇丰富性是一个非常有趣的概念,因为它为某个人或团体的词汇丰富性提供了定量的度量。例如,设想一下,你正在听某个人重复地说“and stuff”概括的描述信息而不是提供具体的例子的方法去通过细节强调观点。现在,我们将这个说话者和其他很少说“stuff”一词, - 位置:《社交网站的数据挖掘与分析(原书第2版)》第9章《9.23.3 讨论》(spine149;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0138.html;u229-ch01-028)。 - 结论依据:重复配方仍按不同token数除以token总数,不能凭低比例证明集体思维。 - 原始内容:len(set(tokens))/len(tokens) # A nested helper function for computing the average number of words per tweet def average_words(statuses): total_words = sum([ len(s.split()) for s in