知识卡片

普通读书笔记卡 · 3835

爬虫脆弱时应争取正式数据接口

理解等级:未标注

模拟用户会话并抓取地图的流程耗时、易错,还会增加目标网站负载。继续优化抓取没有解决根因;市政府改为提供官方表格后,采集从数小时降为几分钟,定位也更准确。发散:当方案依赖绕过上游系统时,应评估协商正式数据出口的成本与收益。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 都市数据可视化 · 查看原书依据

      改进后的系统和之前的犹如天壤之别:原来需要几个小时的数据收集和处理,现在只需几分钟。定位信息也变得更加真实可靠,地图信息详细到了街区级别,突出街道名称和叉路口特征,取代了原有的彩色图标。

    参考来源

    - 位置:《数据之美》第11章《都市数据可视化》(源文件:_epub-src/OEBPS/Text/part0378.xhtml) - 结论依据:原文记载爬虫的过载与准确性问题,以及拿到政府官方数据后耗时和定位精度的改善,说明替换上游数据来源比局部优化绕行方案更有效。 - 原始内容:改进后的系统和之前的犹如天壤之别:原来需要几个小时的数据收集和处理,现在只需几分钟。定位信息也变得更加真实可靠,地图信息详细到了街区级别,突出街道名称和叉路口特征,取代了原有的彩色图标。