返回主题:深度表示与任务网络

知识卡片

普通读书笔记卡 · 3847.b

语料库序列频次编码语言

理解等级:初级

语料库是文本集合;token是文本序列中的单词或标点,每种不同token是一个type,type集合构成词汇。统计相邻n个token的N元频次,就能从真实用语估计序列概率。词频高度偏斜,因此语料规模和低频处理会影响模型边界。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据之美》第14章《自然语言语料库数据》(源文件:../程序之美系列套装(6册)团队之美、项目管理之美、架构之美、数据之美、测试之美、安全之美/_epub-src/OEBPS/Text/part0392.xhtml) - 结论依据:语料库、token、type、词汇和N元的定义把原始文本连接到词频及序列计数;同章给出的高频词覆盖大部分token,说明频率分布偏斜,计数模型需要面对低频尾部。 - 原始内容:文本的集合称为语料库。我们把语料库看做token序列——单词和标点符号。每个不同的token称为类型