知识卡片
事件循环减少线程等待开销
Scrapy的事件驱动结构可把网络等待重叠,在单个事件循环中推进许多任务,避免每个连接独占线程。但阻塞清洗、数据库调用或计算仍可能挡住循环,共享状态跨异步等待也有一致性问题。原书远程服务再慢都不会毁灭性能、无需同步及内存仅接近结果量的概括过强,仍需按负载设计。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 Scrapy简介 1.1 初识Scrapy · 查看原书依据
单一线程来管理它们
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第1章 Scrapy简介,spine033单元002;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00032.html。
- 结论依据:原文单线程管理多项等待支持事件驱动减少专用等待线程,但阻塞回调和外部资源仍受限,不能外推任意慢服务都无影响或无需同步。补充核验入口:https://docs.scrapy.org/en/latest/topics/architecture.html。未在本机运行示例或改变环境。
- 原始内容:结果,因为你可以并行运行多个请求,并通过单一线程来管理它们。这意味着更低的主机托管费用,与其他应用的协作机会,以及相比于传统多线程应用而言更简单的代码(无同步需求)。