知识卡片
单机与Spark结果对齐
同一套随机森林搬到 MLlib:分类准确率 82.16%(单机 81.77%),回归 NMSE 0.602(单机 0.621),都略好一点;K 均值固定 K=8,分布式类中心与单机版高度相似(分布式第 2 类对应单机第 1 类);推荐改用 ALS(交替最小二乘),给第一位用户的前 20 个推荐中 t 类 12 个、j 类 3 个,RMSE 2.49,优于 UBCF 与 IBCF 但量级相近。结论是:分布式解决“算不算得动”,不改变方法结论;微小差异来自采样、并行聚合顺序与默认参数。作者建议输出两套类别标签做 8×8 交叉表核查一致性,这是迁移实现时的标准验收动作。ALS 被选中的理由也不是更准,而是它按用户与物品分块,天然适合并行,比 UBCF 与 IBCF 更易落地。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 大数据案例分析 · 查看原书依据
Spark分类模型的整体准确率为8 2.1 6 %,相比较单机版随机森林的分类准确率稍高一些;Spark 回归模型的NMSE 为0.6 0 2
参考来源
- 位置:《大数据挖掘与统计机器学习》第10章 大数据案例分析(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter12_0001.xhtml,10.1.3 分布式实现)
- 结论依据:原文报告 Spark 分类准确率 82.16%、回归 NMSE 0.602、K 均值类中心与单机相似、ALS 的 RMSE 2.49,并建议用 8×8 交叉表检查两种聚类差异。
- 原始内容:Spark分类模型的整体准确率为8 2.1 6 %,相比较单机版随机森林的分类准确率稍高一些;Spark 回归模型的NMSE 为0.6 0 2