知识卡片
alpha权重与弱分类器投票
每个弱分类器在最终强分类器中不是等权的,它的发言权由 alpha 决定:alpha = 0.5 × ln((1−error)/error),其中 error 是该弱分类器的加权误差率,分母用 max(error, 1e−16) 避免除零。可见误差越小 alpha 越大,表现好的分类器在投票中分量更重;当 error 接近 0.5(随机猜测)时 alpha 趋近 0,几乎不起作用。样本权重的更新与 alpha 同步:D 乘以 exp(−alpha·y·h(x)) 再归一化,其中 y 为真实标签、h(x) 为预测,符号相乘使分对样本乘 e 的负 alpha 次幂降权、分错样本乘 e 的正 alpha 次幂升权。所有弱分类器的结果按 alpha 加权累加成 aggClassEst,最终用 sign(aggClassEst) 输出类别。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 人脸识别中的机器学习 · 查看原书依据
# 算法核心:D--权重修改公式:D*exp((+-)alpha)/sum(D)(Logistic) # +-号取决于是否错分,+表示正确划分,-表示错误划分 wtx = multiply(-1*alpha*mat(labellist).T,EstClass)
参考来源
- 位置:《机器学习算法原理与编程实践》第9章 人脸识别中的机器学习(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00031.html)
- 结论依据:原文给出 alpha 计算公式、D 的乘性更新式及其正负号含义、aggClassSet 的累计,支撑用 alpha 给弱分类器投票加权、同步更新样本权重的概括。
- 原始内容:# 算法核心:D--权重修改公式:D*exp((+-)alpha)/sum(D)(Logistic) # +-号取决于是否错分,+表示正确划分,-表示错误划分 wtx = multiply(-1*alpha*mat(labellist).T,EstClass)