知识卡片
多主各管一片
管理节点采用多主模式,参考了 Hadoop 2.x 的 NameNode Federation 和 YARN:每个管理节点有自己独立管辖的计算节点范围,彼此没有交集,计算任务也相互独立。分发任务时按批数据规模决定用几个节点:数据量低于阈值就随机挑一个正常节点计算,高于阈值则按正常节点数启动相应线程均分任务。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式实时计算框架原理及实践案例》第3章《light_drtc核心技术实现》(源文件:_epub-src/OEBPS/Text/chapter5_0002.xhtml)
- 结论依据:原文说明AN参考Hadoop2.x NameNode Federation和Yarn采用多主模式,每个AN有自己独立的JN范围,彼此没有交集,计算任务独立;AN按每批数据规模选择计算节点个数,数据少于阈值时随机挑一个JN,多于阈值时按正常JN数均分任务。
- 原始内容:对AN采用多主模式,每个AN都有自己独立的JN范围,彼此间没有交集,且计算任务都是独立的。……如果待执行数据块包含的聚合Json数据个数小于之前设定的任务计算最小阈值,则从当前服务正常的JN中随机挑选一个开始计算