← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9410.g · 生成模型:Tencent Hunyuan Hy

外存学习与HashingVectorizer

理解等级:中级

数据集大到超内存时用外存(out-of-core)学习:用 SGDClassifier 的 partial_fit 配合小批次(minibatch)增量训练逻辑斯谛回归。定义生成器 stream_docs 逐条读文档、get_minibatch 取指定数量组成批次。CountVectorizer 需把所有词汇载入内存、TfidfVectorizer 需全部特征向量算 idf,都不适合外存;HashingVectorizer 独立于数据,用 32 位 MurmurHash3 哈希把词映射到固定特征数(2^21),设 SGDClassifier loss=‘log’。例中45批×1000文档训练后测试准确率约87%,略低于网格搜索模型,但一小时不到、存储效率极高。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python机器学习》第8章《8.4 使用大数据——在线算法与外存学习》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0113.xhtml.xhtml) - 结论依据:原文直接支撑上述要点。 - 原始内容:通过一种称为外存学习的技术来处理超大数据集