知识卡片

操作参考卡 · 6263

文本清洗区分标记和实体

理解等级:中级

HTML标签规定结构,实体编码代表字符;把去掉与把'还原为单引号是两类处理。清洗需保留必要的文本分隔并检查最终完整文本,不能假定去标签就等于没有其他噪声。原示例用旧NLTK clean_html和BeautifulStoneSoup;当前NLTK同名方法直接抛NotImplementedError,需按实际解析库重新设计,未运行旧代码。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 2 处

    • · 查看原书依据

      cleanHtml从一条记录的content字段中提取出纯文本内容的例子。它利用了NLTK提供的clean_html函数以及另一个非常方便的用来处理HTML的包BeautifulSoup,它将HTML内容转换为纯文本。如果你还没有使用过BeautifulSoup,一旦你将它放到你的工具箱中,你就再也离不开它了。即使HTML无效并且违反了标准或者存在其他可预期

    • · 查看原书依据

      cleanHtml(html): return BeautifulStoneSoup(clean_html(html), convertEntities=BeautifulStoneSoup.HTML_ENTITIES).contents[0] fp = feedparser.parse(FEED_URL) print "Fetched %sentries

    参考来源

    - 位置:《社交网站的数据挖掘与分析(原书第2版)》第4章《4.2.1 发起Google+API请求》(spine85;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0074.html;u058-ch04-008)。 - 结论依据:原文在“cleanHtml”附近的定义、例子或代码支撑本卡核心说明:HTML标签规定结构,实体编码代表字符;把<br>去掉与把&#39;还原为单引号是两类处理。边界按已读前提解释;示例未执行。 - 原始内容:cleanHtml从一条记录的content字段中提取出纯文本内容的例子。它利用了NLTK提供的clean_html函数以及另一个非常方便的用来处理HTML的包BeautifulSoup,它将HTML内容转换为纯文本。如果你还没有使用过BeautifulSoup,一旦你将它放到你的工具箱中,你就再也离不开它了。即使HTML无效并且违反了标准或者存在其他可预期 - 位置:《社交网站的数据挖掘与分析(原书第2版)》第5章《5.3.2 人类语言数据的句子检测》(spine94;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0083.html;u078-ch04-008)。 - 结论依据:此处再次使用旧clean_html/BeautifulStoneSoup,迁移需按实际版本重建而非照抄。 - 原始内容:cleanHtml(html): return BeautifulStoneSoup(clean_html(html), convertEntities=BeautifulStoneSoup.HTML_ENTITIES).contents[0] fp = feedparser.parse(FEED_URL) print "Fetched %sentries