知识卡片
查询模板须产生内容差异
查询模板把一部分输入项设为绑定项,其余留作自由项;用不同绑定值生成样本提交,再比较返回记录是否实质不同。若只改变排序、版式或广告,输入项没有增加可索引内容。签名还要过滤“无结果”提示中回显的查询值,避免把相同空页误判成不同内容。发散:用可观测输出筛变量时,先定义什么才算有效差异。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第09章 探寻Deep Web · 查看原书依据
我们通过不同集合的值来探测表单中的模板里的输入框,并且检查我们得到的HTML页面之间是否有显著不同。生成的结果页面显著不同的模板被认为是作为探寻的好的候选模板。
参考来源
- 位置:《数据之美》第9章《探寻Deep Web》(源文件:_epub-src/OEBPS/Text/part0360.xhtml)
- 结论依据:原文用不同表单提交后页面内容的区分度评估查询模板,并定义富信息量比例;因此是否值得抓取由结果内容差异支撑,而非字段名称的直觉。
- 原始内容:我们通过不同集合的值来探测表单中的模板里的输入框,并且检查我们得到的HTML页面之间是否有显著不同。生成的结果页面显著不同的模板被认为是作为探寻的好的候选模板。