知识卡片
自研的理由
作者自研轻量实时计算框架的理由:通用框架解决用户画像实时更新、短时 PV/UV 统计这类具体问题时“杀鸡用牛刀”;计算任务密集时容易堆积、失败并丢失行为数据;门槛高、内部原理像黑盒;Storm 中一个 task 出问题可能拖垮整个 worker;平台型框架出问题难追踪,做成可嵌入业务的类库更容易定位。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式实时计算框架原理及实践案例》第1章《分布式实时计算框架介绍》(源文件:_epub-src/OEBPS/Text/chapter3_0003.xhtml)
- 结论依据:原文列出自研light_drtc的原因:开源框架通用,解决用户画像实时更新等具体问题“杀鸡使用牛刀”;任务高度密集时易堆积、失败导致行为数据丢失;入门门槛高、原理像黑盒;Storm某task出问题可能导致整个worker崩溃,局部错误被放大;平台型框架出问题难追踪,嵌入式类库更易定位。
- 原始内容:上述框架的易用性和通用性在解决实际问题时常常捉襟见肘,即使勉强使用,也会有“杀鸡使用牛刀”之感。……往往会导致计算任务堆积,一旦堆积过多,往往会导致系统负载过大,系统出现异常造成很多计算任务失败,用户行为数据丢失。……如果某个task有问题,则可能导致整个worker进程崩溃,导致其他task也不能正常工作了,也就是说局部的错误会被放大。