知识卡片
爬取是带反馈的数据流水线
请求经下载器成为响应,分析器产生条目与新请求,条目管道执行后续处理;新请求反馈到下载端,因此不是单向固定长度批处理。每个阶段需明确输入输出及停止条件,还要在反馈入口校验边界和去重,才能避免重复与无限扩展。
结构图:
flowchart LR
A[首次请求] --> B[网页下载器]
B -->|响应| C[分析器]
C -->|新请求:边界和去重| B
C -->|条目| D[条目处理管道]
D --> E[最终数据]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 一个网络爬虫框架的设计和实现 · 查看原书依据
框架会反复地执行如下步骤直至触碰到停止条件。 “网页下载器”下载与给定网络地址对应的网页内容。其中,在被用于获取网页内容的“请求”的组装方面,网络爬虫框架应该为使用者尽量预留出定制接口。
参考来源
- 位置:《Go并发编程实战》第09章《一个网络爬虫框架的设计和实现》之《9.2 功能需求和分析》(来源项目book-sources;源文件:extracted/Go并发编程实战/_epub-src/text/part0000_split_064.html)
- 结论依据:原文围绕爬取是带反馈的数据流水线给出定义、实例或限制;卡片结合这些上下文解释条件,已知错误在正文就近校正。
- 原始内容:框架会反复地执行如下步骤直至触碰到停止条件。 “网页下载器”下载与给定网络地址对应的网页内容。其中,在被用于获取网页内容的“请求”的组装方面,网络爬虫框架应该为使用者尽量预留出定制接口。