此卡片不在当前主题的阅读序列中,可返回主题继续阅读。
知识卡片
流计算框架的最小充分模型
单节点流计算框架可把计算步骤封装为服务类:持续从输入队列取消息,处理后写入下游队列;有向边由队列承载,有限容量的阻塞队列还能传递反向压力。分叉后汇聚较难由这个循环单独表达,可用 Future 汇集并行任务结果。它是理解本章实例的教学骨架,不能据此推断成熟框架的调度和容错实现。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《实时流计算系统设计与实现》第3章3.1.2《造一个流计算框架的轮子》(源文件:_epub-src/OEBPS/Text/chapter35.xhtml)
- 结论依据:原文将 DAG 节点抽象成服务类、边抽象成队列,并用 Future 处理分叉汇聚;随后以 poll、process、offer 循环和有界阻塞队列展示具体实现。
- 原始内容:对照着特征提取模块的DAG,我们很容易想到,图3-2中的每个节点是一个完成特定功能的计算单元,不妨将每个节点抽象为一个服务类。在节点之间,用有向边来描述节点间的事件传递,因此很容易想到用队列Queue来作为服务类之间事件传递的载体。