知识卡片
语境改变事件意外程度
同一个词在不同语境下出现的可能性不同,因此带来的意外程度也不同。例如“河马”出现在普通短信开头可能少见,在动物园相关句子中则更可预期。信息量必须相对于所采用的概率模型与已知上下文解释。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 信息论 · 查看原书依据
语境会影响一则消息对于我们的意外程度
参考来源
- 位置:《深度学习:从基础到实践(上下册)》第6章《信息论》(来源项目 `extracted/深度学习:从基础到实践(上下册)/_epub-src/text/part0013_split_002.html`)
- 结论依据:原文用语境、概率与编码示例解释信息量;公式和成本边界是对相关说明的明确化。
- 原始内容:语境会影响一则消息对于我们的意外程度。 如果“河马”是消息中的第一个单词,那么我们只有全局语境,还没有任何局部语境。如果我们不是在工作中时常碰到河马,那么这个单词的意外程度就会很高。 但是,如果这则消息的第一句话是“让我