知识卡片
写穿缓存可替代周期爬虫
周期爬虫是准备容灾数据的一种实现,不是架构必需。也可在真实请求返回响应体时同步写入 HTTP 缓存,正常状态只写不读,故障时动态开启读取。这样直接复用真实响应,减少爬虫维护和额外线上请求。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《高性能之道:SRE视角下的运维架构实践》第12章《静态容灾降级系统》(源文件:`_epub-src/EPUB/xhtml/Section0001_0019.xhtml`)
- 结论依据:作者给出利用真实请求响应体写入缓存的新方案,并说明平时只写、故障时动态读缓存。
- 原始内容:利用用户的真实请求,在返回响应体的时候,将可以支持容灾的响应体存放到HTTP缓存系统,这样可以去除爬虫系统……日常情况下不开启读缓存操作,只开启写缓存操作。