返回主题:深网采集与搜索策略

知识卡片

普通读书笔记卡 · 3830

搜索规模决定自动化取舍

理解等级:高级

垂直搜索靠人工为有限领域建立表单语义映射,能精细整合同类来源,却难覆盖边界不清、语言众多的整个Web。面向数百万表单时,作者转向无需人工监督的通用探测,以单点精度换广泛覆盖。发散:先判断目标是少数来源的深度整合,还是长尾来源的规模覆盖,再选择人工映射与自动化的投入比例。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第09章 探寻Deep Web · 查看原书依据

      因而,为Web创建一个中间协调器将是一项宏伟的挑战,而且该中间协调器需要支持100多种语言。因此,当目标是覆盖很多领域上的大量表单时,这种方法是不可行的。

    参考来源

    - 位置:《数据之美》第9章《探寻Deep Web》(源文件:_epub-src/OEBPS/Text/part0360.xhtml) - 结论依据:原文指出垂直搜索的中间表单映射人工成本高、领域和语言范围难以扩展;本章的通用方法因此强调全自动与多领域覆盖,支持按目标规模取舍。 - 原始内容:因而,为Web创建一个中间协调器将是一项宏伟的挑战,而且该中间协调器需要支持100多种语言。因此,当目标是覆盖很多领域上的大量表单时,这种方法是不可行的。