知识卡片

普通读书笔记卡 · 5619.f.16.b.2.a.1

请求过滤尽早落实边界

理解等级:中级

saveReqToCache先检查请求及URL非nil、允许scheme,再检查重复、域名范围和最大深度,避免把无效工作传播到后续阶段。这里只支持http是示例能力限制,不能推导Go HTTP客户端不支持https;拒绝请求作为警告还是错误要按责任区分,并保留可观测拒绝原因。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 一个网络爬虫框架的设计和实现 · 查看原书依据

      这里需要用到的过滤规则有两类。一类是针对不合法的请求的规则,而另一类则是针对不合要求的请求的规则。第一类规则如下。 若请求值中包含的HTTP请求(*http.Request类型值)为nil,则该请求不合法。

    参考来源

    - 位置:《Go并发编程实战》第09章《一个网络爬虫框架的设计和实现》之《9.7 调度器的实现》(来源项目book-sources;源文件:extracted/Go并发编程实战/_epub-src/text/part0000_split_069.html) - 结论依据:原文围绕请求过滤尽早落实边界给出定义、实例或限制;卡片结合这些上下文解释条件,已知错误在正文就近校正。 - 原始内容:这里需要用到的过滤规则有两类。一类是针对不合法的请求的规则,而另一类则是针对不合要求的请求的规则。第一类规则如下。 若请求值中包含的HTTP请求(*http.Request类型值)为nil,则该请求不合法。