知识卡片
注意力源于人类视觉
注意力机制模拟人类视觉的选择性:面对大量信息时,人并不会平均分配认知资源,而是把注意力集中在少数关键目标上,忽略无关内容。这种机制用有限资源换取更高的信息处理效率与准确性,是长期进化形成的生存策略。深度学习借鉴这一思路,让模型在处理序列或图像时动态分配计算资源,从而提升自然语言处理、语音识别与图像任务的性能。它的核心启示是:信息不必全部同等对待,”该看哪里”本身也是一种可以学习的能力。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 注意力机制 · 查看原书依据
注意力机制源于对人类视觉的研究,注意力是一种人类不可或缺的复杂认知功能,指人可以在关注一些信息的同时忽略其他信息的选择能力。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0001.xhtml)
- 结论依据:原文从人类视觉切入,指出注意力是"关注一些信息的同时忽略其他信息的选择能力",并说明它提高了视觉信息处理的效率与准确性。
- 原始内容:注意力机制源于对人类视觉的研究,注意力是一种人类不可或缺的复杂认知功能,指人可以在关注一些信息的同时忽略其他信息的选择能力。