返回主题:深网采集与搜索策略

知识卡片

普通读书笔记卡 · 3829.c

页面签名剔除展示噪声

理解等级:高级

比较查询结果时,签名应忽略HTML排版、结果排序和广告等展示差异,并移除空结果提示里回显的查询值;否则同一空页会因搜索词不同而被误判为不同内容。过滤也不能抹掉真实记录差异。发散:相似度规则要用有记录与空结果样本共同校准,避免误并和漏并。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据之美》第9章《探寻Deep Web》(源文件:_epub-src/OEBPS/Text/part0360.xhtml) - 结论依据:原文明确要求签名不受HTML样式、词序、广告和输入值影响,否则相同记录或模板化空结果会产生伪差异;同时签名用于区分返回内容,因此过滤边界必须保留实际记录变化。 - 原始内容:该签名必须对HTML格式是透明的,因为表现层输入项通常只是改变Web页面的布局。其次,该签名必须和词项的排序无关……这些签名不应该包含输入项的值本身。