← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 5619.af

框架固定协作而开放策略

理解等级:中级

爬虫框架固定下载、分析、条目处理与调度的协作方式,把请求构造、内容提取和持久化等随目的变化的逻辑留给使用者。稳定核心的价值在于统一运行与错误边界,而不是替所有网站理解任意JavaScript。原书以单机为默认,扩展接口只提供演进位置,不等于已完成分布式任务协调。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      这些逻辑绝大多数都与网络爬虫使用者当时的意愿有关。换句话说,它们都与具体的使用目的有着紧密的联系。也许它们并不应该是网络爬虫的核心功能,而应该作为扩展功能或可定制的功能存在。

    参考来源

    - 位置:《Go并发编程实战(第2版)》第06章《网络爬虫框架设计和实现》(来源项目book-sources:extracted/Go并发编程实战(第2版)/_epub-src/OEBPS/text00000_split_010.html;归一字符[1754,1841)) - 结论依据:原文从不同爬取目的推导核心/扩展划分,并明确JavaScript解析及分布式不在本章实现范围。 - 原始内容:这些逻辑绝大多数都与网络爬虫使用者当时的意愿有关。换句话说,它们都与具体的使用目的有着紧密的联系。也许它们并不应该是网络爬虫的核心功能,而应该作为扩展功能或可定制的功能存在。