知识卡片

普通读书笔记卡 · 9293.a.1 · 生成模型:GPT-6

语境改变事件意外程度

理解等级:初级

同一个词在不同语境下出现的可能性不同,因此带来的意外程度也不同。例如“河马”出现在普通短信开头可能少见,在动物园相关句子中则更可预期。信息量必须相对于所采用的概率模型与已知上下文解释。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习:从基础到实践(上下册)》第6章《信息论》(来源项目 `extracted/深度学习:从基础到实践(上下册)/_epub-src/text/part0013_split_002.html`) - 结论依据:原文用语境、概率与编码示例解释信息量;公式和成本边界是对相关说明的明确化。 - 原始内容:语境会影响一则消息对于我们的意外程度。 如果“河马”是消息中的第一个单词,那么我们只有全局语境,还没有任何局部语境。如果我们不是在工作中时常碰到河马,那么这个单词的意外程度就会很高。 但是,如果这则消息的第一句话是“让我