知识卡片

普通读书笔记卡 · 6267.a

连续片段数量由窗口宽度决定

理解等级:中级

长度T的词序列不做填充时,连续n-gram的数量为max(T−n+1,0),每项有n个位置。因此1000词有999个二元组、998个三元组;原文泛写(T−1)×n只适用于二元组数量的特例。存储是否近似n倍还取决于保存字符串、引用、计数或压缩结构,8KB不能当所有语言和实现的固定大小。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      N元文法的存储要求 保存一个n元文法模型需要存储(T-1)*n个词(实际上是T×n),这里T是文档中单词的数量,n是n元文法的大小。例如,假设文档中包含1000个单词,需要约8KB的存储空间。存储文本中所有的二元文法需要两倍于原文本大小的空间,也就是16KB,也就是要存储999×2个单词。存储所有的三元文法(998×3)需要3倍于原大小空间,也就是24KB。

    参考来源

    - 位置:《社交网站的数据挖掘与分析(原书第2版)》第4章《4.4.4 分析人类语言中的二元文法》(spine87;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0076.html;u067-ch04-032)。 - 结论依据:原文在“N元文法的存储要求”附近的定义、例子或代码支撑本卡核心说明:长度T的词序列不做填充时,连续n-gram的数量为max(T−n+1,0),每项有n个位置。边界按已读前提解释;示例未执行。 - 原始内容:N元文法的存储要求 保存一个n元文法模型需要存储(T-1)*n个词(实际上是T×n),这里T是文档中单词的数量,n是n元文法的大小。例如,假设文档中包含1000个单词,需要约8KB的存储空间。存储文本中所有的二元文法需要两倍于原文本大小的空间,也就是16KB,也就是要存储999×2个单词。存储所有的三元文法(998×3)需要3倍于原大小空间,也就是24KB。