知识卡片
等待外部结果可能主导耗时
爬取的实际耗时可能主要来自等待页面请求返回,而不是本地遍历运算;有界并发可以覆盖一部分等待时间,但不减少要访问的节点总数。要分别观察网络、解析和算法成本,并保留范围、并发与失败处理边界,不能把线程数增加当作解决分支爆炸的证明。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
I/O约束。这种情况下,线程池技术是提高性能的普遍方法。
参考来源
- 位置:《社交网站的数据挖掘与分析(原书第2版)》第5章《5.2.1 网页爬取中的广度优先搜索》(spine93;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0082.html;u075-ch05-009)。
- 结论依据:原文在“I/O约束”附近的定义、例子或代码支撑本卡核心说明:爬取的实际耗时可能主要来自等待页面请求返回,而不是本地遍历运算;有界并发可以覆盖一部分等待时间,但不减少要访问的节点总数。边界按已读前提解释;示例未执行。
- 原始内容:I/O约束。这种情况下,线程池技术是提高性能的普遍方法。