← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9632.h · 生成模型:DeepSeek-V4.1-Flash

KL 距离与 AIC

理解等级:高级

AIC 的一般形式是 −2logL(θ̂)+2p:第一项是负对数似然损失(拟合优度),第二项是对参数个数 p 的惩罚。它的来历是 KL 距离。KL 距离又称相对熵,衡量同一事件空间上两个概率分布 P、Q 的差异,连续与离散各有定义式;它非负,当且仅当 P=Q 时为零,故可当作「Q 离真分布 P 有多远」的度量。设 P 为真实分布、Q 为候选估计,最小化 D_KL(P‖Q) 等价于最大化 E_P log Q(X)。用最大似然估计参数、样本量足够大时,该量近似为 logL(θ̂)−p,越大越好;乘 −2 即得 AIC。因此 AIC 不是挑拟合最好的模型,而是挑「拟合好、参数少」的模型:它给每个参数定价 2,用拟合的提升去换这笔价格。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第4章 模型评价与选择(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter6_0002.xhtml,4.2.2 AIC准则) - 结论依据:原文给出 AIC 公式与从 KL 距离出发的推导,指出最大似然下该量近似为 logL 减 p,乘 −2 得 AIC,并选择 AIC 最小者。 - 原始内容:相对熵的值为非负,当且仅当P=Q时,DKL(P‖Q)=0。因此可以用DKL(P‖Q)来度量概率分布Q与P 之间的差异。