← 返回卡片

原书出处

深度学习

03 第3章 概率与信息论

核验版本的摘录快照 · 导入于 2026-11-19T07:27:03.625Z

分布之间的相似性。有关信息论的更多细节,参见Cover and Thomas(2006)或者MacKay(2003)。

信息论的基本想法是一个不太可能的事件居然发生了,要比一个非常可能的事件发生,能提供更多的信息。消息说:“今天早上太阳升起”,信息量是如此之少,以至于没有必要发送;但一条消息说:“今天早上有日食”,信息量就很丰富。

我们想要通过这种基本想法来量化信息。特别是: 非常可能发生的事件信息量要比较少,并且极端情况下,确保能够发生的事件应该

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深度学习/_epub-src/text/part0001_split_000.html

EPUB SHA-256:30b05f447b47f121324499dd200696e34be257d5cd4c4b753541b42f40a94639