知识卡片
订阅提供结构不保证历史全量
RSS/Atom把条目标题、链接与内容等组织为可解析结构,可减少网页导航噪声。但订阅常只保留近期条目,也可能只有摘要;获取订阅不能直接声称取得网站全部文章或完整历史。分析前应核对时间范围和所需正文是否真的包含在每个条目里。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
通常订阅只发布“最近的”内容,所以即使有了订阅,有时你也需要处理网页。如果给你选择,或许你更倾向于订阅而不是任意的网页,但你需要为这二者都做好准备。 一个网页抓取(从网页提取文本的过程)的出色工具是基于Java的boilerpipe库(http://bit.ly/1a1mMLA),它是为了识别和移除网页中的样板而设计的。boilerpipe库基于一篇发表的论
参考来源
- 位置:《社交网站的数据挖掘与分析(原书第2版)》第5章《5.2 抓取、解析、爬取网页》(spine93;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0082.html;u074-ch05-003)。
- 结论依据:原文在“通常订阅只发布”附近的定义、例子或代码支撑本卡核心说明:RSS/Atom把条目标题、链接与内容等组织为可解析结构,可减少网页导航噪声。边界按已读前提解释;示例未执行。
- 原始内容:通常订阅只发布“最近的”内容,所以即使有了订阅,有时你也需要处理网页。如果给你选择,或许你更倾向于订阅而不是任意的网页,但你需要为这二者都做好准备。 一个网页抓取(从网页提取文本的过程)的出色工具是基于Java的boilerpipe库(http://bit.ly/1a1mMLA),它是为了识别和移除网页中的样板而设计的。boilerpipe库基于一篇发表的论