知识卡片

操作参考卡 · 9631.q · 生成模型:DeepSeek-V4.1-Flash

惩罚回归与判别法对比

理解等级:中级

模型比较与阈值:用 predict 得到三个模型的线性预测值,经 exp(η)/(1+exp(η)) 转成概率;对每个阈值算 TPR=Σ(y·ŷ)/Σy、FPR=Σ((1−y)·ŷ)/Σ(1−y),画 ROC、灵敏度、特异度与约登四条曲线。Logistic 全模型与 AIC 逐步回归的约登指数更大,优于 BIC;选 AIC 模型,which.max 得最优阈值 0.556、约登 0.4896,此时 TPR=0.536、FPR=0.046、正确率 0.828。

L1 正则 Logistic:glmpath 的 glmpath(x,y,family=binomial) 用预测校正法,内部已标准化(standardize=TRUE),predict 用 s 指定 λ;glmnet 用坐标下降,需先 scale 标准化,coef/predict 用 s 指定 λ,λ 应由交叉验证选。

判别分析:MASS 的 lda(y~.,datatr) 与 qda(y~.,datatr),predict 后 table 得混淆矩阵、mean(预测==真值) 得正确率。LDA 正确率 0.796(TPR=0.5、FPR=0.263)高于 QDA 的 0.753,与“QDA 参数多、方差大”的预期一致。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第3章 线性分类方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter5_0004.xhtml,3.4.1 心脏病数据) - 结论依据:原文给出用预测概率画 ROC 与约登曲线、按最大约登指数选阈值(0.556)并报告 TPR、FPR 与正确率 0.828 的过程,随后给出 glmpath 与 glmnet 两种 L1 求解方式以及 lda、qda 的正确率对比。 - 原始内容:下面我们用MASS包中的lda()函数和 qda()函数分别建立线性判别模型和二次判别模型,并将二者结果进行比较,程序如下: