知识卡片
语音识别的演进路线
语音识别把声学信号序列投影到词序列,长期由GMM-HMM主导:HMM生成音素及子音素状态序列,GMM把离散状态映射为短声学信号。深度网络最早在TIMIT等基准上取得与GMM-HMM相当的结果,但受工程惯性限制未立即取代它。2009年起,用受限玻尔兹曼机逐层预训练的深度前馈网络显著降低音素错误率,随后ReLU、Dropout和更大标签数据集使无监督预训练变得多余,词错误率出现约30%的相对改进。一条创新路线是卷积网络同时在时域和频域复用权重,把频谱当作图像处理;另一条是彻底抛弃HMM的端到端系统,用深层LSTM配合CTC框架进一步刷新错误率记录。这段历史说明算法突破往往要与数据规模、工程适配共同作用才能转化为产业替代。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第12章 应用
原书出处 · 1 处
- 第12章 应用 · 查看原书依据
用语音识别中词错误率来衡量,在语音识别性能上的这些突破是史无前例的(大约30%的提高)。在这之前的长达十年左右的时间内,尽管数据集的规模是随时间增长的(见Deng and Yu(2014)的图2.4),但基于GMM-HMM的系统的传统技术已经停滞不前了。
参考来源
- 位置:《深度学习》第12章 应用(源文件:extracted/深度学习/_epub-src/text/part0004.html)
- 结论依据:12.3按时间线给出GMM-HMM、RBM预训练、ReLU/Dropout、卷积网络与端到端RNN的演进及错误率数据。
- 原始内容:用语音识别中词错误率来衡量,在语音识别性能上的这些突破是史无前例的(大约30%的提高)。在这之前的长达十年左右的时间内,尽管数据集的规模是随时间增长的(见Deng and Yu(2014)的图2.4),但基于GMM-HMM的系统的传统技术已经停滞不前了。