知识卡片

问题卡 · 1893.g

看见规律不等于算出信息熵

理解等级:高级

原书用有序数字较易记忆解释结构价值,并称无序序列熵最大。读者需区分序列容易描述、记忆负担与信源概率模型:只看一个有限字符串,不能直接确定其生成过程的信息熵。Shannon论文讨论的是概率分布的不确定性;结果完全确定时熵为零,给定候选数且各项等概率时最大。不要把这些有条件的性质当成任意文本是否整齐的评分。2026-10-26核对原论文。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      用信息熵来度量复杂性的方法。所谓信息熵,就是一条信息包含信息量的大小。举个例子,假设一条消息由符号A、C、G和T组成,如果序列高度有序,那么很容易描述,例如“AAAAAAA…A”,则熵为零;而完全随机的序列则有最大熵值。 综上所述,我们之所以能够轻松记忆第二组数字,是因

    参考来源

    - 位置:《程序员的底层思维》第3章《结构化思维》(来源项目book-sources,`extracted/程序员的底层思维/_epub-src/Cheng Xu Yuan De Di Ceng Si Wei_split_007.html`)。 - 结论依据:原文从“用信息熵来度量复杂性的方法。所谓信息熵,就是一条信息包含信息量的”展开,与本卡的“原书用有序数字较易记忆解释结构价值,并称无序序列熵最大”对应;正文额外解释的限制、反例或外部校正均不冒充原书保证。 - 原始内容:用信息熵来度量复杂性的方法。所谓信息熵,就是一条信息包含信息量的大小。举个例子,假设一条消息由符号A、C、G和T组成,如果序列高度有序,那么很容易描述,例如“AAAAAAA…A”,则熵为零;而完全随机的序列则有最大熵值。 综上所述,我们之所以能够轻松记忆第二组数字,是因