返回主题:深网采集与搜索策略

知识卡片

普通读书笔记卡 · 3881

先找网页背后数据

理解等级:未标注

抓取报纸网站房价页时,团队发现每周页面由可直接下载的结构化文本生成。采集前先找机器可读源,可能比解析展示层HTML更省事、稳定。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据之美》第18章《旧金山海湾区之殇:次贷危机的影响》(源文件:books/架构归档4/程序之美系列套装(6册)团队之美、项目管理之美、架构之美、数据之美、测试之美、安全之美.epub::OEBPS/Text/part0427.xhtml) - 结论依据:网页总结由文本数据构建,且每周文本文件可通过规律URL下载,所以采集前检查页面背后的机器可读源能省去HTML解析。 - 原始内容:当我们得知自己不需要通过解析Web页面来抽取数据,而是已经可以获取计算机可读格式的数据时,我们感觉自己更幸运了。