知识卡片

普通读书笔记卡 · 1285.j.1.ad · 生成模型:未记录

自适应更新与模型阶数独立

理解等级:中级

零阶模型只使用符号自身的概率,高阶模型让下一符号分布依赖上下文,例如Q后U的条件概率。静态/自适应则区分概率或码树是否随数据更新,两组分类不等价。

自适应霍夫曼让编码和解码按相同规则更新频数及树,省去预传整份静态表的需要;它仍维护动态状态,并非完全没有频率信息,也不自动变成高阶模型。首次新符号的表示与同步规则必须共享。

补核:Hirschberg等作者的自适应霍夫曼说明给出双方更新频数和树的机制,支持“动态更新”而非“必用高阶”:Data Compression §4,2026-11-06实读第4节概述及FGK文字机制,未读取图示细节。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      高阶模型会观察符号组合的概率,从而更精确地获取数据的熵。例如,如果在文本数据中遇到了符号"Q",在很多语言中,"Q"后紧接着是符号"U"的概率非常大。高阶模型就是用来考虑这样的情况。 香农费诺编码 它是最小冗余编码的首个实现方法。有趣的是,它产生于还没有计算机的20世纪40年代,是二战期间信息论发展

    参考来源

    - 位置:《算法精解:C语言描述》第14章《相关主题》(spine1395;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part1361.html;u272-ch14-031)。 - 结论依据:272全文统计/自适应段实读;外部作者资料相关文字核验,并明确没有把动态更新混成上下文阶数。 - 原始内容:高阶模型会观察符号组合的概率,从而更精确地获取数据的熵。例如,如果在文本数据中遇到了符号"Q",在很多语言中,"Q"后紧接着是符号"U"的概率非常大。高阶模型就是用来考虑这样的情况。 香农费诺编码 它是最小冗余编码的首个实现方法。有趣的是,它产生于还没有计算机的20世纪40年代,是二战期间信息论发展