返回主题:组件、连接器与端口

知识卡片

普通读书笔记卡 · 2801

CN、AN、JN三节点

理解等级:未标注

书中的 light_drtc 框架分三类节点:收集节点(CN)从 MQ 接收用户实时行为,先存本地队列,每隔 N 秒批量发给管理节点;管理节点(AN)暂存数据,每隔 K 秒把数据分发给计算节点并协调资源,保证批任务按顺序执行;计算节点(JN)用 Fork/Join 按业务处理批量数据。设计上借鉴了 MapReduce、微批处理和 Storm 的拓扑思想。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式实时计算框架原理及实践案例》第3章《light_drtc核心技术实现》(源文件:_epub-src/OEBPS/Text/chapter5_0001.xhtml) - 结论依据:原文说明light_drtc逻辑上分三部分:CN通过MQ收集用户实时行为,暂存本地队列,每隔N秒批量发送给AN;AN暂存数据,每隔K秒分发给JN并协调资源,保证批任务顺序进行;JN对批量数据用Fork/Join按业务处理;设计参考了MapReduce、Spark Streaming的Mini-batch和Storm的Spout/Bolt。 - 原始内容:(1)数据收集CollectNode(CN):终端用户的实时点击行为通过MQ统一收集,将数据暂存在本地双端队列中,每隔N秒批量发送到计算集群中的任务管理节点。……同时保证批计算任务的顺序进行。