语料承载隐性语言知识
把choosespain.com正确切分成choose Spain,模型只查语料中的词序频率;自然产生的文本能承载搭配规律,使数据驱动方法无需显式编码全部领域知识。
主题对照
比较语料驱动的语言概率、平滑、词序依赖、搜索与纠错算法,以及语料规模和质量对NLP方法的约束。
把choosespain.com正确切分成choose Spain,模型只查语料中的词序频率;自然产生的文本能承载搭配规律,使数据驱动方法无需显式编码全部领域知识。
大语料让未见的词序组合更少,N元模型可用“愚蠢回退”等简单方法处理残余稀疏性。数据规模变化可能使过去复杂的平滑策略不再必要。
候选少时可穷举;存在可证明的非最优条件时可安全剪枝;搜索空间过大且无保证时才用启发式,接受不能保证全局最优。策略取决于空间规模与结构。
机器翻译和语言识别有大量自然产生的语料样例,语义解析则缺少自然生成的解析标注数据。判断数据驱动任务的可行性时,应先核对所需训练样本能否规模化获得。
训练集用于建模,校验集用于选方案;测试集评估未见数据,理想情况下用过即弃。但数据昂贵时可权衡复用,前提是避免用测试集反复调优造成过拟合;独立评估要求与算法类型无关。
语料库是文本集合;token是文本序列中的单词或标点,每种不同token是一个type,type集合构成词汇。统计相邻n个token的N元频次,就能从真实用语估计序列概率。词频高度偏斜,因此语料规模和低频处理会影响模型边界。
分词若递归枚举所有切分会重复求解相同后缀;缓存每个子串的最佳结果后,只需逐个子串计算并比较有限长度的首词候选,复杂度可从指数级降到多项式级。概率乘积改用对数加法还能避免数值下溢。
语料库未收录某词不代表它不可能出现,把未知词概率设为零会令含它的整条候选序列归零。可给未知词非零的平滑估计,并按词长降低概率,避免任意长随机字符串获得过高分。
把词概率视为彼此独立时,常见的“sitdown”可能压过“sit down”的两个单词概率乘积。加入前一词条件概率后,常见搭配可得到更高分;上下文改善判别,但更长的N元模型也增加数据规模和计算代价。
爬山搜索只接受分数不下降的邻居,无法保证越过局部峰值或平原。多次从随机密钥重新开始并比较结果,能增加找到较好解的机会,却仍不能保证全局最优;搜索次数和邻居设计仍需权衡。
拼写纠正要同时考虑候选词本身常不常见,以及输入错误把它变成当前字符串的可能性:按 P(候选|输入) ∝ P(输入|候选)P(候选) 排序。只选最高词频会把罕见但正确的词误改成常见词。
网络语料若含大量真实拼写错误,模型会把错误词频当成正常语言证据,进而拒绝纠正同类错误。可用校对语料、词典约束或结合相似词的上下文共现识别噪声;数据清洗能改善模型,但计算成本可能很高。
Zipf型词频中,少数标签出现很多次,同时有大量标签只出现一两次;这种重尾分布不同于正态分布,尾部并非自动意味着错误。用对数秩与频率检查长尾形态时,还要看点的密集区,不能只凭一条拟合线概括所有词项。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
数据科学实践类。全书虽为多作者案例集,但整体围绕真实数据项目的定义、获取、清洗、分析、建模、呈现与治理,符合端到端数据科学实践的判定范围。逐项对照必答维度:
书籍类型:未标注
类别清单尚未核对
229 张卡片
主题索引
CNN、RNN、LSTM、Seq2Seq、GAN 的结构分工,以及检测、分割、修复、语音识别、语言模型这些任务怎样把表示学习落到具体输出上,各任务对归纳偏置的依赖有何不同。
与 1 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接
共享 1 个其他主题;属于相同分类
共享 1 个其他主题;属于相同分类
共享 1 个其他主题;属于相同分类