知识卡片
惩罚回归与判别法对比
模型比较与阈值:用 predict 得到三个模型的线性预测值,经 exp(η)/(1+exp(η)) 转成概率;对每个阈值算 TPR=Σ(y·ŷ)/Σy、FPR=Σ((1−y)·ŷ)/Σ(1−y),画 ROC、灵敏度、特异度与约登四条曲线。Logistic 全模型与 AIC 逐步回归的约登指数更大,优于 BIC;选 AIC 模型,which.max 得最优阈值 0.556、约登 0.4896,此时 TPR=0.536、FPR=0.046、正确率 0.828。
L1 正则 Logistic:glmpath 的 glmpath(x,y,family=binomial) 用预测校正法,内部已标准化(standardize=TRUE),predict 用 s 指定 λ;glmnet 用坐标下降,需先 scale 标准化,coef/predict 用 s 指定 λ,λ 应由交叉验证选。
判别分析:MASS 的 lda(y~.,datatr) 与 qda(y~.,datatr),predict 后 table 得混淆矩阵、mean(预测==真值) 得正确率。LDA 正确率 0.796(TPR=0.5、FPR=0.263)高于 QDA 的 0.753,与“QDA 参数多、方差大”的预期一致。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 线性分类方法 · 查看原书依据
下面我们用MASS包中的lda()函数和 qda()函数分别建立线性判别模型和二次判别模型,并将二者结果进行比较,程序如下:
参考来源
- 位置:《大数据挖掘与统计机器学习》第3章 线性分类方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter5_0004.xhtml,3.4.1 心脏病数据)
- 结论依据:原文给出用预测概率画 ROC 与约登曲线、按最大约登指数选阈值(0.556)并报告 TPR、FPR 与正确率 0.828 的过程,随后给出 glmpath 与 glmnet 两种 L1 求解方式以及 lda、qda 的正确率对比。
- 原始内容:下面我们用MASS包中的lda()函数和 qda()函数分别建立线性判别模型和二次判别模型,并将二者结果进行比较,程序如下: