知识卡片
逐条处理压力大
行为日志解析有三种方式:定时大批量处理、逐条处理和小批量(Mini-Batch)处理。逐条处理实时性最高,但高并发时会大大增加服务端计算压力。小批量处理把几秒甚至更短时间内的行为作为一个独立数据集统一处理,提交的计算任务远少于逐条处理,仍保持近实时,是生产环境中更常用的方式,与[[微批处理流数据]]思路一致。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式实时计算框架原理及实践案例》第9章《综合实例:新闻推荐中的用户画像近实时更新》(源文件:_epub-src/OEBPS/Text/chapter11_0001.xhtml)
- 结论依据:原文说明行为日志解析有定时大批量、逐条处理和Mini-Batch三种方式;逐条处理适用于实时性要求非常高的场合,但高并发期间会大大增加服务端计算压力;Mini-Batch把很小时间段内的用户行为作为独立数据集统一处理,提交的计算任务远少于逐条处理,是行业广为使用的方式。
- 原始内容:逐条处理方式适用于对实时性要求非常高的场合,但相应地,尤其是在高并发期间,会大大增加服务端的计算压力。……这样给服务端提交的计算任务就会远远小于逐条处理时的任务数量。