知识卡片
请求缓存缓解反馈阻塞
分析器一份响应可能产出多个请求,下载较慢时反馈通道会积压,甚至各阶段互相等待。请求缓存把产生和调度分开,由schedule转入请求通道,暂时减少分析器阻塞;缓存增长不能消除持续过载或网络瓶颈,需要容量、背压或丢弃策略,不能保证其他组件永不受影响。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 一个网络爬虫框架的设计和实现 · 查看原书依据
不论网页下载器处理请求的速度如何,分析器以及网络爬虫框架中的其他组件的运行效率都不会受到它的影响。另一方面,为了让这些请求能够被及时地处理,调度器会适当地将请求缓存中的请求转移到请求通道中。
参考来源
- 位置:《Go并发编程实战》第09章《一个网络爬虫框架的设计和实现》之《9.7 调度器的实现》(来源项目book-sources;源文件:extracted/Go并发编程实战/_epub-src/text/part0000_split_069.html)
- 结论依据:原文围绕请求缓存缓解反馈阻塞给出定义、实例或限制;卡片结合这些上下文解释条件,已知错误在正文就近校正。
- 原始内容:不论网页下载器处理请求的速度如何,分析器以及网络爬虫框架中的其他组件的运行效率都不会受到它的影响。另一方面,为了让这些请求能够被及时地处理,调度器会适当地将请求缓存中的请求转移到请求通道中。