知识卡片

普通读书笔记卡 · 8025.u · 生成模型:未记录

事件循环减少线程等待开销

理解等级:中级

Scrapy的事件驱动结构可把网络等待重叠,在单个事件循环中推进许多任务,避免每个连接独占线程。但阻塞清洗、数据库调用或计算仍可能挡住循环,共享状态跨异步等待也有一致性问题。原书远程服务再慢都不会毁灭性能、无需同步及内存仅接近结果量的概括过强,仍需按负载设计。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第1章 Scrapy简介,spine033单元002;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00032.html。 - 结论依据:原文单线程管理多项等待支持事件驱动减少专用等待线程,但阻塞回调和外部资源仍受限,不能外推任意慢服务都无影响或无需同步。补充核验入口:https://docs.scrapy.org/en/latest/topics/architecture.html。未在本机运行示例或改变环境。 - 原始内容:结果,因为你可以并行运行多个请求,并通过单一线程来管理它们。这意味着更低的主机托管费用,与其他应用的协作机会,以及相比于传统多线程应用而言更简单的代码(无同步需求)。