知识卡片

普通读书笔记卡 · 6263.b

去除标记不等于提取正文

理解等级:中级

导航、页眉、广告与页脚即使去掉HTML标签,文本仍会留在结果里。正文提取需要判断哪些文本块属于目标文章,不能只做去标记。书内boilerpipe提供不同提取器,仍可能需要后处理;选择ArticleExtractor不是对所有网页都提取完整准确的保证。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      样板(boilerplate)的内容,比如导航栏、头、脚注、广告等其他你不关心的内容。因此,并不是去掉HTML标签再处理剩下的文本就行了,因为去掉HTML标签不会对去掉那些样板有什么作用。有些时候,网页中会有更多的样板给你造成干扰。 好消息是,近年来帮你识别感兴趣内容的工具越来越成熟,并且对你想要进行文本挖掘的材料进行隔离的方法也有了很多出色的可供选择。另外

    参考来源

    - 位置:《社交网站的数据挖掘与分析(原书第2版)》第5章《5.2 抓取、解析、爬取网页》(spine93;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0082.html;u074-ch05-001)。 - 结论依据:原文在“样板(boilerplate)”附近的定义、例子或代码支撑本卡核心说明:导航、页眉、广告与页脚即使去掉HTML标签,文本仍会留在结果里。边界按已读前提解释;示例未执行。 - 原始内容:样板(boilerplate)的内容,比如导航栏、头、脚注、广告等其他你不关心的内容。因此,并不是去掉HTML标签再处理剩下的文本就行了,因为去掉HTML标签不会对去掉那些样板有什么作用。有些时候,网页中会有更多的样板给你造成干扰。 好消息是,近年来帮你识别感兴趣内容的工具越来越成熟,并且对你想要进行文本挖掘的材料进行隔离的方法也有了很多出色的可供选择。另外