知识卡片

普通读书笔记卡 · 5619.x.4

按内容类型分流处理策略

理解等级:中级

finder用parseLink处理HTML提取a.href和img.src,生成后续请求;parseImg处理图片响应,产生reader/name/ext条目,再交管道保存。它把发现链接、识别内容与持久化分开,方便替换任一步。Content-Type只是分流依据,实际内容、相对URL解析、文件命名与大小边界仍需具体策略验证,不能据头字段当成全部正确性证明。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      parseLink 函数会利用goquery 在HTML格式的HTTP响应体中查找新的请求。我不在这里叙述goquery 的用法,只说流程。

    参考来源

    - 位置:《Go并发编程实战(第2版)》第06章《网络爬虫框架设计和实现》(来源项目book-sources:extracted/Go并发编程实战(第2版)/_epub-src/OEBPS/text00000_split_010.html;归一字符[72168,72238)) - 结论依据:原文两个解析函数及条目结构、处理管道的职责分离构成真实流程,未展开部分明确留为策略约束。 - 原始内容:parseLink 函数会利用goquery 在HTML格式的HTTP响应体中查找新的请求。我不在这里叙述goquery 的用法,只说流程。