知识卡片
语料库序列频次编码语言
语料库是文本集合;token是文本序列中的单词或标点,每种不同token是一个type,type集合构成词汇。统计相邻n个token的N元频次,就能从真实用语估计序列概率。词频高度偏斜,因此语料规模和低频处理会影响模型边界。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第14章 自然语言语料库数据 · 查看原书依据
文本的集合称为语料库。我们把语料库看做token序列——单词和标点符号。每个不同的token称为类型
参考来源
- 位置:《数据之美》第14章《自然语言语料库数据》(源文件:../程序之美系列套装(6册)团队之美、项目管理之美、架构之美、数据之美、测试之美、安全之美/_epub-src/OEBPS/Text/part0392.xhtml)
- 结论依据:语料库、token、type、词汇和N元的定义把原始文本连接到词频及序列计数;同章给出的高频词覆盖大部分token,说明频率分布偏斜,计数模型需要面对低频尾部。
- 原始内容:文本的集合称为语料库。我们把语料库看做token序列——单词和标点符号。每个不同的token称为类型