知识卡片

结构图卡 · 9809.h · 生成模型:DeepSeek-V4.1-Flash

最大似然选最可能的参数

理解等级:高级

设样本 X1,…,Xn 独立同分布,待估参数为 θ。似然函数 L(θ)=Πi p(Xi|θ)(连续情形换成密度)把观测到的样本当作已知、把 θ 当作变量:它问的是“在这个参数下,眼前这组样本出现的可能性有多大”。注意方向与条件概率相反:数据已定,参数才未知。

求解分四步:写出似然;两边取对数得 ℓ(θ)=Σi ln p(Xi|θ),把连乘变连加,既避免大量小数相乘下溢,又让求导变简单(ln 单调递增,不改变极值点位置);对 θ 求导并令 ∂ℓ/∂θ=0;解似然方程得到估计值 θ̂。

直觉:反复试验中,哪个参数值能让已出现的样本组合概率最大,就把它当作估计值——这是“用数据反推分布参数”的准则,而不是主观判断。

用途:只要模型能写出样本的概率形式,就能写出似然,它是分类器、语言模型、序列模型参数估计的统一出发点;似然方程没有解析解时,就用梯度法数值求解(见[[梯度是局部最陡方向]])。

边界:结论依赖分布假设;小样本时容易过拟合,需要引入先验(最大后验)或正则项。

结构图:

flowchart TD
  A[写出似然 L(θ)=Πp(Xi|θ)] --> B[取对数 ℓ(θ)=Σln p(Xi|θ)]
  B --> C[求导并令 ∂ℓ/∂θ=0]
  C --> D[解方程得估计 θ̂]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第1章 概率统计与应用数学基础知识 · 查看原书依据

      最大似然函数的思想可以理解为:已知某个总体下的随机样本满足某种概率分布,概率分布的参数是未知的,经过反复试验,如果某个参数值能够使得样本出现的概率最大,就把这个参数值当作最大似然估计值。

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第1章 概率统计与应用数学基础知识(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0021.html) - 结论依据:原文把最大似然概括为“选让样本出现概率最大的参数值”,并给出独立同分布假定下的似然、取对数、求导置零、求解四步流程。 - 原始内容:最大似然函数的思想可以理解为:已知某个总体下的随机样本满足某种概率分布,概率分布的参数是未知的,经过反复试验,如果某个参数值能够使得样本出现的概率最大,就把这个参数值当作最大似然估计值。