知识卡片
清洗文本数据
构建词袋前须清洗文本:去掉 HTML 标记、标点及非字母字符,但保留表情符号(如 :))因为在情感分析中有用。用正则 <[^>]*> 去 HTML 标记,用正则提取表情暂存,再用 [\W]+ 删非单词字符、转小写,最后把表情追加回文档末尾(词袋中顺序无关)。虽一般不建议用正则解析 HTML,但对该数据集足够。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 使用机器学习进行情感分析 · 查看原书依据
我们将去除标点符号,只保留表情符号,如":)",因为它们在情感分析中通常是有用的
参考来源
- 位置:《Python机器学习》第8章《8.2.3 清洗文本数据》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0110.xhtml.xhtml)
- 结论依据:原文直接支撑上述要点。
- 原始内容:我们将去除标点符号,只保留表情符号,如":)",因为它们在情感分析中通常是有用的