知识卡片
Fizz Buzz 输入要选编码
把整数直接当标量喂进网络是坏主意,书中给了两条理由:数值大小携带了与问题无关的顺序信息,2 是 1 的两倍、4 是 2 的两倍,但整除与否跟倍数无关;单个输入也让隐藏层几乎没有可组合的素材,算不出“能被 3 整除且不能被 5 整除”这类特征。换成 10 位二进制表示后,每个数变成一串 0/1,整除关系落到具体的位上,隐藏层才有东西可学。输出侧用四维独热表示四类结果,预测时取最大值的下标还原成标签。这是把非数值问题塞进向量模型的通用套路:输入表示要让相关结构显形,而不是挑最省事的那个数。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第18章 神经网络 · 查看原书依据
不想只用包含输入数的一维向量的原因有以下两个:一是每个输入都能给神经网络传递一个信号,但事实是 2 是 1 的两倍,4 是 2 的两倍,这一事实与这个问题无关;二是仅靠一个输入,隐藏层无法计算出非常有趣的特征
参考来源
- 位置:《数据科学入门(第2版)》第18章 神经网络(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0022.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「不想只用包含输入数的一维向量的原因有以下两个:一是每个输入都能给神经网络传递一个……」
- 原始内容:不想只用包含输入数的一维向量的原因有以下两个:一是每个输入都能给神经网络传递一个信号,但事实是 2 是 1 的两倍,4 是 2 的两倍,这一事实与这个问题无关;二是仅靠一个输入,隐藏层无法计算出非常有趣的特征