返回主题:深网采集与搜索策略

知识卡片

普通读书笔记卡 · 3829.a

笛卡儿积易产生空URL

理解等级:中级

多个表单输入项的候选值做笛卡儿积,会迅速产生大量提交,其中不少返回空结果。书中Cars.com案例以5个输入项组合出2.4亿多个URL,而当时仅有65辆待售汽车。枚举前先估算组合规模与有效结果量,再设计覆盖与请求成本的折中,避免把穷举当成完整性的代名词。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据之美》第9章《探寻Deep Web》(源文件:_epub-src/OEBPS/Text/part0360.xhtml) - 结论依据:原文给出五输入项产生2.4亿多个URL、站点仅有65辆待售车辆的例子,并指出大量请求不会返回记录,因此可以推出组合总数与有用结果量会严重脱节。 - 原始内容:在Cars.com上的某个查询表单有5个输入框,这些输入框的笛卡儿积生成的URL超过2.4亿个,而实际上该网站只有65辆车待售……毫不奇怪,对于这些URL,大量的表单提交将无法得到任何记录