知识卡片
事件驱动把等待与后续动作拆开
本书Scrapy1.0以Twisted反应器监测I/O就绪,用Deferred登记后续处理,让线程在等待时推进其他任务。它减少大量等待线程的资源成本,但回调本身阻塞仍会挡住反应器,异步不把CPU计算自动移到别处。并非所有文件/库调用都已有非阻塞实现,也不能把Node.js所有API或当前Scrapy运行方式一概视作相同。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 Scrapy编程 8.1 Scrapy是一个Twisted应用 · 查看原书依据
deferred.addCallback(process_result)
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第8章 Scrapy编程,spine040单元002;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00039.html。
- 结论依据:原文反应器监控就绪并以addCallback登记后续,直接支持等待与计算分离,普通阻塞回调仍占线程,不推成所有调用已异步。补充核验入口:https://docs.twisted.org/en/stable/core/howto/defer.html。未在本机运行示例或改变环境。
- 原始内容:能,而不用管什么时候返回值可用(比如, deferred.addCallback(process_result) )。一个Twisted应用是由一组此类延迟运行的操作组成的。Twisted唯一的主线程被称为Twisted事件反应器线程,用于监控挂起器,等待某个资源变为可用(比如,服