知识卡片
框架固定协作而开放策略
爬虫框架固定下载、分析、条目处理与调度的协作方式,把请求构造、内容提取和持久化等随目的变化的逻辑留给使用者。稳定核心的价值在于统一运行与错误边界,而不是替所有网站理解任意JavaScript。原书以单机为默认,扩展接口只提供演进位置,不等于已完成分布式任务协调。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
这些逻辑绝大多数都与网络爬虫使用者当时的意愿有关。换句话说,它们都与具体的使用目的有着紧密的联系。也许它们并不应该是网络爬虫的核心功能,而应该作为扩展功能或可定制的功能存在。
参考来源
- 位置:《Go并发编程实战(第2版)》第06章《网络爬虫框架设计和实现》(来源项目book-sources:extracted/Go并发编程实战(第2版)/_epub-src/OEBPS/text00000_split_010.html;归一字符[1754,1841))
- 结论依据:原文从不同爬取目的推导核心/扩展划分,并明确JavaScript解析及分布式不在本章实现范围。
- 原始内容:这些逻辑绝大多数都与网络爬虫使用者当时的意愿有关。换句话说,它们都与具体的使用目的有着紧密的联系。也许它们并不应该是网络爬虫的核心功能,而应该作为扩展功能或可定制的功能存在。