查询模板须产生内容差异
查询模板把一部分输入项设为绑定项,其余留作自由项;用不同绑定值生成样本提交,再比较返回记录是否实质不同。若只改变排序、版式或广告,输入项没有增加可索引内容。签名还要过滤“无结果”提示中回显的查询值,避免把相同空页误判成不同内容。发散:用可观测输出筛变量时,先定义什么才算有效差异。
主题对照
比较深网页面发现、查询模板构造、搜索空间扩展、页面噪声去除及自动化采集的安全边界。
查询模板把一部分输入项设为绑定项,其余留作自由项;用不同绑定值生成样本提交,再比较返回记录是否实质不同。若只改变排序、版式或广告,输入项没有增加可索引内容。签名还要过滤“无结果”提示中回显的查询值,避免把相同空页误判成不同内容。发散:用可观测输出筛变量时,先定义什么才算有效差异。
多个表单输入项的候选值做笛卡儿积,会迅速产生大量提交,其中不少返回空结果。书中Cars.com案例以5个输入项组合出2.4亿多个URL,而当时仅有65辆待售汽车。枚举前先估算组合规模与有效结果量,再设计覆盖与请求成本的折中,避免把穷举当成完整性的代名词。
查询模板空间有指数级组合时,可先测单个输入项,再从已验证有信息量的较小模板逐步扩展;若某模板所有低一维扩展都无信息量,就可按书中的单调性假设剪枝。扩展时仍要考虑与已有字段交互的组合,不能只组合单独有效的字段,否则可能漏掉需多个条件共同作用的结果。
垂直搜索靠人工为有限领域建立表单语义映射,能精细整合同类来源,却难覆盖边界不清、语言众多的整个Web。面向数百万表单时,作者转向无需人工监督的通用探测,以单点精度换广泛覆盖。发散:先判断目标是少数来源的深度整合,还是长尾来源的规模覆盖,再选择人工映射与自动化的投入比例。
比较查询结果时,签名应忽略HTML排版、结果排序和广告等展示差异,并移除空结果提示里回显的查询值;否则同一空页会因搜索词不同而被误判为不同内容。过滤也不能抹掉真实记录差异。发散:相似度规则要用有记录与空结果样本共同校准,避免误并和漏并。
Deep Web指必须向HTML表单提交合适值才会返回、因而普通链接爬虫难以发现和索引的页面。本章范围主要是允许匿名检索的信息表单,并排除登录、反馈和购买等涉及私密信息或会改变状态的提交。搜索盲区来自入口方式,而非内容本身不可公开。
GET把查询参数放进URL,使不同表单提交可由不同地址表示并进入搜索索引;POST把参数放在请求体中,结果地址无法据此区分,而且按HTML规范应承载会改变状态或产生副作用的操作。抓取表单前还要排除登录和个人信息入口,不能为扩大覆盖而触发用户状态变更。
通用文本框没有可用的领域词典时,可先从表单页面抽取相关词作为种子,提交查询后再从返回页面发现新候选词,反复探测并按结果覆盖筛选。要剔除几乎处处出现的模板词和只出现一次的偶然词。发散:候选词不是固定清单,而是被目标站点的数据逐步反馈修正。
邮编、日期和价格等文本框虽看似任意文本,实际只接受特定类型或范围;无效值会得到错误页。探测时应识别输入类型,并为有限集合抽取样本、为连续范围按不同数量级均匀采样,再用结果差异评估信息量。未来还可识别相关输入域(如最低价与最高价),联合测试精心选择的有效值以发现更多页面。
模拟用户会话并抓取地图的流程耗时、易错,还会增加目标网站负载。继续优化抓取没有解决根因;市政府改为提供官方表格后,采集从数小时降为几分钟,定位也更准确。发散:当方案依赖绕过上游系统时,应评估协商正式数据出口的成本与收益。
抓取报纸网站房价页时,团队发现每周页面由可直接下载的结构化文本生成。采集前先找机器可读源,可能比解析展示层HTML更省事、稳定。
爬虫从种子页面提取链接,再调度下载更多页面。搜索索引、归档和监控对内容类型、更新频率、留存与去重有不同需求;应先约定目标,不能把一套遍历流程当成所有爬取业务的完整方案。
URL 去重避免同一地址重复入队和形成循环,内容去重避免不同地址的同一页面被反复存储。两者处理对象不同:只比较地址不能消除镜像内容,只比较内容也不能阻止重复下载。
调度队列提供待抓 URL,下载器处理网络请求,解析器验证和抽取内容,过滤与去重决定哪些链接重新入队。将这些步骤分开便于扩容和处理畸形页面,不把慢解析直接阻塞所有下载工作。
标准广度优先只按发现顺序推进,无法表达页面重要性。前队列按流量、更新频率等信号分级,再偏向高优先级队列选择任务;这使有限抓取资源优先处理更有价值的内容。
同一主机的 URL 归入同一后队列,由下载线程顺序处理,并可加入间隔。它避免并行抓取淹没单一网站。前队列决定先抓什么,后队列约束对同一站点抓得多快,两者协同而非互相替代。
网页会持续增删改,爬虫需要重新访问。按更新历史和重要性分配不同重抓频率,可比全站等频重抓更节省资源;需要新鲜度的页面应优先获得预算,而不是只追求一次抓到最多地址。
海量待抓 URL 全放内存既昂贵又缺乏持久保障,全走磁盘则访问较慢。主体留在磁盘、入队出队使用内存缓冲并定期落盘,可以平衡容量和效率;恢复能力仍取决于状态保存设计。
爬虫在下载前读取 robots.txt,按站点声明筛选允许范围,并缓存及定期更新规则。它是抓取行为约束,不能因为目标链接已进入队列就忽略;书中规则示例属于历史文本,不代表站点当前配置。
下载器对慢响应设置最大等待,避免工作线程长期被占用;缓存域名解析结果减少重复 DNS 调用。两者分别缩短等待和减少外部访问,但过长缓存也可能保留旧地址,需要更新策略。
无限目录等页面会不断产生新 URL,使遍历无法收敛。长度上限、异常发现量监控及定制 URL 过滤可降低风险;没有一种简单规则能检测所有陷阱,仍需检查误判与异常站点。
只下载静态 HTML 无法得到由 JavaScript 在运行时生成的链接。对此可以先进行动态渲染再解析;这增加处理成本,适用于确有必要发现动态内容的范围,不应对所有页面无差别开启。
搜索系统可以拆成数据采集、索引管理和结果展现三层:采集负责把外部信息变成可处理文档,索引把文档转成可快速定位的数据结构,界面把相关结果组织给用户。发散:扩展搜索能力时先定位变更落在哪一层,能避免把界面需求误写成索引问题。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
书籍类型:经典原理
125 张卡片
来源书籍
数据科学实践类。全书虽为多作者案例集,但整体围绕真实数据项目的定义、获取、清洗、分析、建模、呈现与治理,符合端到端数据科学实践的判定范围。逐项对照必答维度:
书籍类型:未标注
类别清单尚未核对
229 张卡片
来源书籍
书籍类型:工程实践
39 张卡片
来自相同书籍;属于相同分类
来自相同书籍;属于相同分类
来自相同书籍;属于相同分类
来自相同书籍;属于相同分类
来自相同书籍;属于相同分类
来自相同书籍;属于相同分类