知识卡片

普通读书笔记卡 · 2801.d

多主各管一片

理解等级:未标注

管理节点采用多主模式,参考了 Hadoop 2.x 的 NameNode Federation 和 YARN:每个管理节点有自己独立管辖的计算节点范围,彼此没有交集,计算任务也相互独立。分发任务时按批数据规模决定用几个节点:数据量低于阈值就随机挑一个正常节点计算,高于阈值则按正常节点数启动相应线程均分任务。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式实时计算框架原理及实践案例》第3章《light_drtc核心技术实现》(源文件:_epub-src/OEBPS/Text/chapter5_0002.xhtml) - 结论依据:原文说明AN参考Hadoop2.x NameNode Federation和Yarn采用多主模式,每个AN有自己独立的JN范围,彼此没有交集,计算任务独立;AN按每批数据规模选择计算节点个数,数据少于阈值时随机挑一个JN,多于阈值时按正常JN数均分任务。 - 原始内容:对AN采用多主模式,每个AN都有自己独立的JN范围,彼此间没有交集,且计算任务都是独立的。……如果待执行数据块包含的聚合Json数据个数小于之前设定的任务计算最小阈值,则从当前服务正常的JN中随机挑选一个开始计算