知识卡片
按内容类型分流处理策略
finder用parseLink处理HTML提取a.href和img.src,生成后续请求;parseImg处理图片响应,产生reader/name/ext条目,再交管道保存。它把发现链接、识别内容与持久化分开,方便替换任一步。Content-Type只是分流依据,实际内容、相对URL解析、文件命名与大小边界仍需具体策略验证,不能据头字段当成全部正确性证明。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
parseLink 函数会利用goquery 在HTML格式的HTTP响应体中查找新的请求。我不在这里叙述goquery 的用法,只说流程。
参考来源
- 位置:《Go并发编程实战(第2版)》第06章《网络爬虫框架设计和实现》(来源项目book-sources:extracted/Go并发编程实战(第2版)/_epub-src/OEBPS/text00000_split_010.html;归一字符[72168,72238))
- 结论依据:原文两个解析函数及条目结构、处理管道的职责分离构成真实流程,未展开部分明确留为策略约束。
- 原始内容:parseLink 函数会利用goquery 在HTML格式的HTTP响应体中查找新的请求。我不在这里叙述goquery 的用法,只说流程。