知识卡片
Storm 的 Worker、Executor 与 Task 三层并发
Storm 将一个 Topology 分配到多个 Worker 进程;每个 Worker 运行多个 Executor 线程;每个 Executor 执行同类 Spout 或 Bolt 的一个或多个 Task。Worker 数、组件 Executor 数和 Task 数控制不同层次的并发,不能互换。调优前先确认瓶颈在进程资源、线程调度还是逻辑任务分布,再调整对应层次。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第13章《流式实时计算引擎》13.2.1 Storm 概念与架构、13.2.3 Storm 内部原理(源文件:`_epub-src/OEBPS/text00104.html`)
- 结论依据:原书分别说明 Worker 是进程、Executor 是线程、Task 是用户逻辑,并列出三个并发参数的设置位置。
- 原始内容:一个Worker(进程)可启动多个Executor(线程)。