主题对照

统计语言模型与自然语言处理

比较语料驱动的语言概率、平滑、词序依赖、搜索与纠错算法,以及语料规模和质量对NLP方法的约束。

13 张卡片 · 1 本书

本层 13 张卡片 · 含下级覆盖 13 张卡片

本主题的卡片

数据之美 · 自然语言语料库数据

语料承载隐性语言知识

把choosespain.com正确切分成choose Spain,模型只查语料中的词序频率;自然产生的文本能承载搭配规律,使数据驱动方法无需显式编码全部领域知识。

查看卡片与原书出处

数据之美 · 自然语言语料库数据

大语料简化平滑

大语料让未见的词序组合更少,N元模型可用“愚蠢回退”等简单方法处理残余稀疏性。数据规模变化可能使过去复杂的平滑策略不再必要。

查看卡片与原书出处

数据之美 · 自然语言语料库数据

搜索策略取决于空间

候选少时可穷举;存在可证明的非最优条件时可安全剪枝;搜索空间过大且无保证时才用启发式,接受不能保证全局最优。策略取决于空间规模与结构。

查看卡片与原书出处

数据之美 · 自然语言语料库数据

语料可得性决定数据方法

机器翻译和语言识别有大量自然产生的语料样例,语义解析则缺少自然生成的解析标注数据。判断数据驱动任务的可行性时,应先核对所需训练样本能否规模化获得。

查看卡片与原书出处

数据之美 · 自然语言语料库数据

测试集独立与算法无关

训练集用于建模,校验集用于选方案;测试集评估未见数据,理想情况下用过即弃。但数据昂贵时可权衡复用,前提是避免用测试集反复调优造成过拟合;独立评估要求与算法类型无关。

查看卡片与原书出处

数据之美 · 自然语言语料库数据

语料库序列频次编码语言

语料库是文本集合;token是文本序列中的单词或标点,每种不同token是一个type,type集合构成词汇。统计相邻n个token的N元频次,就能从真实用语估计序列概率。词频高度偏斜,因此语料规模和低频处理会影响模型边界。

查看卡片与原书出处

数据之美 · 自然语言语料库数据

记忆化动态规划削减重复搜索

分词若递归枚举所有切分会重复求解相同后缀;缓存每个子串的最佳结果后,只需逐个子串计算并比较有限长度的首词候选,复杂度可从指数级降到多项式级。概率乘积改用对数加法还能避免数值下溢。

查看卡片与原书出处

数据之美 · 自然语言语料库数据

未知词概率应非零且随长度衰减

语料库未收录某词不代表它不可能出现,把未知词概率设为零会令含它的整条候选序列归零。可给未知词非零的平滑估计,并按词长降低概率,避免任意长随机字符串获得过高分。

查看卡片与原书出处

数据之美 · 自然语言语料库数据

相邻词上下文能修正独立分词

把词概率视为彼此独立时,常见的“sitdown”可能压过“sit down”的两个单词概率乘积。加入前一词条件概率后,常见搭配可得到更高分;上下文改善判别,但更长的N元模型也增加数据规模和计算代价。

查看卡片与原书出处

数据之美 · 自然语言语料库数据

随机重启缓解爬山局部最优

爬山搜索只接受分数不下降的邻居,无法保证越过局部峰值或平原。多次从随机密钥重新开始并比较结果,能增加找到较好解的机会,却仍不能保证全局最优;搜索次数和邻居设计仍需权衡。

查看卡片与原书出处

数据之美 · 自然语言语料库数据

拼写纠正组合词频和错误概率

拼写纠正要同时考虑候选词本身常不常见,以及输入错误把它变成当前字符串的可能性:按 P(候选|输入) ∝ P(输入|候选)P(候选) 排序。只选最高词频会把罕见但正确的词误改成常见词。

查看卡片与原书出处

数据之美 · 自然语言语料库数据

训练语料错误会污染纠错模型

网络语料若含大量真实拼写错误,模型会把错误词频当成正常语言证据,进而拒绝纠正同类错误。可用校对语料、词典约束或结合相似词的上下文共现识别噪声;数据清洗能改善模型,但计算成本可能很高。

查看卡片与原书出处

数据之美 · 数据浅析:探索形形色色的社会定型

长尾词频不要套正态直觉

Zipf型词频中,少数标签出现很多次,同时有大量标签只出现一两次;这种重尾分布不同于正态分布,尾部并非自动意味着错误。用对数秩与频率检查长尾形态时,还要看点的密集区,不能只凭一条拟合线概括所有词项。

查看卡片与原书出处
辅助阅读:卢曼编号

按卢曼编号阅读

点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。

来源书籍

来源书籍

数据之美

数据科学实践类。全书虽为多作者案例集,但整体围绕真实数据项目的定义、获取、清洗、分析、建模、呈现与治理,符合端到端数据科学实践的判定范围。逐项对照必答维度:

Skill 版本:v11

书籍类型:未标注

类别清单尚未核对

229 张卡片

主题索引

深度表示与任务网络

CNN、RNN、LSTM、Seq2Seq、GAN 的结构分工,以及检测、分割、修复、语音识别、语言模型这些任务怎样把表示学习落到具体输出上,各任务对归纳偏置的依赖有何不同。

37 张卡片 · 5 本书