知识卡片

普通读书笔记卡 · 1790.g

限制在途输入形成反馈

理解等级:中级

max spout pending限制每个Spout任务已发出但尚未完成的根元组数量。达到上限就暂停发出,等确认、失败或超时释放名额,再继续读取;这样下游变慢会反馈到输入,避免无限堆积在处理器内存。总预算还要乘以Spout任务数,且它限制根输入而非所有派生元组的字节总量。

与[[队列解耦速度]]的联系:限制在途根输入将下游处理能力反馈到来源。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      一旦达到这一限制,Spout任务将停止发出元组直到元组被确认、失败或超时。

    参考来源

    - 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第15章《队列和流处理:示例》(来源项目book-sources;源文件:extracted/大数据系统构建:可扩展实时数据系统构建原理与最佳实践/_epub-src/OEBPS/Text/109.xhtml) - 结论依据:15.2用8个Spout各1000个待处理根元组得8000,强调配置按任务计。 - 原始内容:一旦达到这一限制,Spout任务将停止发出元组直到元组被确认、失败或超时。