知识卡片
字符级 RNN 造名字
把公司名拆成字符序列,用 ^ 和 $ 标记开头与结尾,模型每读一个字符就预测下一个字符的概率分布,训练目标仍是交叉熵;生成时从 ^ 开始,按预测分布采样一个字符,再把它喂回去,直到采到 $ 或达到长度上限。这样学到的是名字的拼写风格——音节组合、长度、常见前后缀,而不是语义。效果强烈依赖隐藏层大小与训练轮数:维度太小只能产出乱码,太大又容易逐字背下训练名单,产出的名字看着像真的却不可用。因此这类输出通常要人来筛选,重点是去掉那些只是原样复现训练样本的结果。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第21章 自然语言处理 · 查看原书依据
训练后,模型会从列表中生成一些真实名称(这并不奇怪,因为该模型有相当强的学习能力,但没有大量的训练数据)、与训练名称稍有不同的名称(Scripe、Loinbare、Pozium)、看似真正具有创意的名称
参考来源
- 位置:《数据科学入门(第2版)》第21章 自然语言处理(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0025.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「训练后,模型会从列表中生成一些真实名称(这并不奇怪,因为该模型有相当强的学习能力……」
- 原始内容:训练后,模型会从列表中生成一些真实名称(这并不奇怪,因为该模型有相当强的学习能力,但没有大量的训练数据)、与训练名称稍有不同的名称(Scripe、Loinbare、Pozium)、看似真正具有创意的名称