知识卡片
任务排队不并行
管理节点每隔 K 秒把收到的数据加工成按用户主键聚合的 JSON 列表。若上一批计算尚未结束,新数据块先进内存待执行队列;队列超过设定的最大延迟数时,写入磁盘上的延迟任务文件。上一批结束后,优先取延迟最久的数据块执行。这样保证各批任务严格按顺序执行,高峰期任务延迟但数据不丢。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式实时计算框架原理及实践案例》第3章《light_drtc核心技术实现》(源文件:_epub-src/OEBPS/Text/chapter5_0002.xhtml、_epub-src/OEBPS/Text/chapter5_0003.xhtml)
- 结论依据:原文说明AN每隔K秒把数据加工成按用户主键聚合的JSON列表;若上批计算任务未结束,当前数据进入内存待执行队列,超过最大延迟个数则写入延迟任务目录文件;上批结束后先执行延迟最久的数据块;保证每批计算任务顺序执行,上一个没结束下一个等待。
- 原始内容:否则,取当前时间戳为文件名将currentTaskData存入延迟任务目录下,并记录在delayTaskTreeMap中。……➢首先从memTaskQu中取出延迟最久的数据块执行计算任务;……保证每批计算任务的顺序执行,上一个计算任务没有结束,下个计算任务等待。