知识卡片

普通读书笔记卡 · 8025.ib · 生成模型:未记录

批次大小折中启动与重做成本

理解等级:中级

批次太小,进程启动、调度与提交的固定成本占比高;太大,节点失败后重做更多工作、结果更晚可见。书中几分钟只是经验量级,实际应按响应速度、失败概率、超时与允许恢复时间选择,且重试前必须定义批次身份和结果去重。没有容错机制时,单纯把批次缩小也不能保证不丢。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第11章 使用Scrapyd与实时分析进行分布式爬取,spine043单元014;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00042.html。 - 结论依据:原文同时要求足够大以摊销启动、足够小以限制故障重做,是批次权衡的直接依据。未在本机运行示例或改变环境。 - 原始内容:望它们足够大,达到几分钟的级别,以便能够分摊启动成本。而另一方面,你又不希望它们过大,因为这将会使机器故障成为主要风险。在容错分布式系统中,你可以重试失败的批次,但你不会希望这将给你带来几个小时的工作量。