原书出处
深度学习
03 第3章 概率与信息论
分布之间的相似性。有关信息论的更多细节,参见Cover and Thomas(2006)或者MacKay(2003)。
信息论的基本想法是一个不太可能的事件居然发生了,要比一个非常可能的事件发生,能提供更多的信息。消息说:“今天早上太阳升起”,信息量是如此之少,以至于没有必要发送;但一条消息说:“今天早上有日食”,信息量就很丰富。
我们想要通过这种基本想法来量化信息。特别是: 非常可能发生的事件信息量要比较少,并且极端情况下,确保能够发生的事件应该
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习/_epub-src/text/part0001_split_000.html
EPUB SHA-256:30b05f447b47f121324499dd200696e34be257d5cd4c4b753541b42f40a94639