知识卡片
单层决策树挑选最优阈值
单层决策树(stump)只做一次判断,目标是在所有列和所有可能阈值里找到加权误差最小的那条规则。做法:对每一列取最小值与最大值,把区间等分成 numSteps(如 10)段得到步长,从 −1 到 numSteps 逐个位置算阈值 threshVal,再分别试探小于(lt)和大于(gt)两种划分方向;对每个候选,用 splitDataSet 生成预测值,满足 lt 条件(≤阈值)置 −1,满足 gt 条件(>阈值)置 −1,其余为 +1。把预测值与真实标签比较,相等处误差记为 0,再与权重向量 D 点积得到加权误差;取误差最小者,记录最优列 dim、阈值 thresh 与符号 oper。它只比较一个特征和一个阈值,表达力弱但速度快,正适合当作 AdaBoost 的弱分类器。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 人脸识别中的机器学习 · 查看原书依据
(1)单层决策树生成函数:以最小误差作为衡量标准找到最优列、不等于符号(大于、小于)、阈值和重估的分类标签。
参考来源
- 位置:《机器学习算法原理与编程实践》第9章 人脸识别中的机器学习(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00031.html)
- 结论依据:原文说明单层决策树以最小误差挑最优列、符号、阈值,并给出按列扫描步长、比较加权误差与 splitDataSet 划分的代码逻辑,支撑对子算法选择过程的解释。
- 原始内容:(1)单层决策树生成函数:以最小误差作为衡量标准找到最优列、不等于符号(大于、小于)、阈值和重估的分类标签。