知识卡片

普通读书笔记卡 · 9410.d · 生成模型:Tencent Hunyuan Hy

清洗文本数据

理解等级:初级

构建词袋前须清洗文本:去掉 HTML 标记、标点及非字母字符,但保留表情符号(如 :))因为在情感分析中有用。用正则 <[^>]*> 去 HTML 标记,用正则提取表情暂存,再用 [\W]+ 删非单词字符、转小写,最后把表情追加回文档末尾(词袋中顺序无关)。虽一般不建议用正则解析 HTML,但对该数据集足够。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python机器学习》第8章《8.2.3 清洗文本数据》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0110.xhtml.xhtml) - 结论依据:原文直接支撑上述要点。 - 原始内容:我们将去除标点符号,只保留表情符号,如":)",因为它们在情感分析中通常是有用的