知识卡片
最大似然选最可能的参数
设样本 X1,…,Xn 独立同分布,待估参数为 θ。似然函数 L(θ)=Πi p(Xi|θ)(连续情形换成密度)把观测到的样本当作已知、把 θ 当作变量:它问的是“在这个参数下,眼前这组样本出现的可能性有多大”。注意方向与条件概率相反:数据已定,参数才未知。
求解分四步:写出似然;两边取对数得 ℓ(θ)=Σi ln p(Xi|θ),把连乘变连加,既避免大量小数相乘下溢,又让求导变简单(ln 单调递增,不改变极值点位置);对 θ 求导并令 ∂ℓ/∂θ=0;解似然方程得到估计值 θ̂。
直觉:反复试验中,哪个参数值能让已出现的样本组合概率最大,就把它当作估计值——这是“用数据反推分布参数”的准则,而不是主观判断。
用途:只要模型能写出样本的概率形式,就能写出似然,它是分类器、语言模型、序列模型参数估计的统一出发点;似然方程没有解析解时,就用梯度法数值求解(见[[梯度是局部最陡方向]])。
边界:结论依赖分布假设;小样本时容易过拟合,需要引入先验(最大后验)或正则项。
结构图:
flowchart TD
A[写出似然 L(θ)=Πp(Xi|θ)] --> B[取对数 ℓ(θ)=Σln p(Xi|θ)]
B --> C[求导并令 ∂ℓ/∂θ=0]
C --> D[解方程得估计 θ̂]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 概率统计与应用数学基础知识 · 查看原书依据
最大似然函数的思想可以理解为:已知某个总体下的随机样本满足某种概率分布,概率分布的参数是未知的,经过反复试验,如果某个参数值能够使得样本出现的概率最大,就把这个参数值当作最大似然估计值。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第1章 概率统计与应用数学基础知识(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0021.html)
- 结论依据:原文把最大似然概括为“选让样本出现概率最大的参数值”,并给出独立同分布假定下的似然、取对数、求导置零、求解四步流程。
- 原始内容:最大似然函数的思想可以理解为:已知某个总体下的随机样本满足某种概率分布,概率分布的参数是未知的,经过反复试验,如果某个参数值能够使得样本出现的概率最大,就把这个参数值当作最大似然估计值。