知识卡片
外存学习与HashingVectorizer
数据集大到超内存时用外存(out-of-core)学习:用 SGDClassifier 的 partial_fit 配合小批次(minibatch)增量训练逻辑斯谛回归。定义生成器 stream_docs 逐条读文档、get_minibatch 取指定数量组成批次。CountVectorizer 需把所有词汇载入内存、TfidfVectorizer 需全部特征向量算 idf,都不适合外存;HashingVectorizer 独立于数据,用 32 位 MurmurHash3 哈希把词映射到固定特征数(2^21),设 SGDClassifier loss=‘log’。例中45批×1000文档训练后测试准确率约87%,略低于网格搜索模型,但一小时不到、存储效率极高。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 使用机器学习进行情感分析 · 查看原书依据
通过一种称为外存学习的技术来处理超大数据集
参考来源
- 位置:《Python机器学习》第8章《8.4 使用大数据——在线算法与外存学习》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0113.xhtml.xhtml)
- 结论依据:原文直接支撑上述要点。
- 原始内容:通过一种称为外存学习的技术来处理超大数据集