返回主题:深网采集与搜索策略

知识卡片

普通读书笔记卡 · 3829

查询模板须产生内容差异

理解等级:高级

查询模板把一部分输入项设为绑定项,其余留作自由项;用不同绑定值生成样本提交,再比较返回记录是否实质不同。若只改变排序、版式或广告,输入项没有增加可索引内容。签名还要过滤“无结果”提示中回显的查询值,避免把相同空页误判成不同内容。发散:用可观测输出筛变量时,先定义什么才算有效差异。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第09章 探寻Deep Web · 查看原书依据

      我们通过不同集合的值来探测表单中的模板里的输入框,并且检查我们得到的HTML页面之间是否有显著不同。生成的结果页面显著不同的模板被认为是作为探寻的好的候选模板。

    参考来源

    - 位置:《数据之美》第9章《探寻Deep Web》(源文件:_epub-src/OEBPS/Text/part0360.xhtml) - 结论依据:原文用不同表单提交后页面内容的区分度评估查询模板,并定义富信息量比例;因此是否值得抓取由结果内容差异支撑,而非字段名称的直觉。 - 原始内容:我们通过不同集合的值来探测表单中的模板里的输入框,并且检查我们得到的HTML页面之间是否有显著不同。生成的结果页面显著不同的模板被认为是作为探寻的好的候选模板。