知识卡片

普通读书笔记卡 · 2800.c

自研的理由

理解等级:未标注

作者自研轻量实时计算框架的理由:通用框架解决用户画像实时更新、短时 PV/UV 统计这类具体问题时“杀鸡用牛刀”;计算任务密集时容易堆积、失败并丢失行为数据;门槛高、内部原理像黑盒;Storm 中一个 task 出问题可能拖垮整个 worker;平台型框架出问题难追踪,做成可嵌入业务的类库更容易定位。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式实时计算框架原理及实践案例》第1章《分布式实时计算框架介绍》(源文件:_epub-src/OEBPS/Text/chapter3_0003.xhtml) - 结论依据:原文列出自研light_drtc的原因:开源框架通用,解决用户画像实时更新等具体问题“杀鸡使用牛刀”;任务高度密集时易堆积、失败导致行为数据丢失;入门门槛高、原理像黑盒;Storm某task出问题可能导致整个worker崩溃,局部错误被放大;平台型框架出问题难追踪,嵌入式类库更易定位。 - 原始内容:上述框架的易用性和通用性在解决实际问题时常常捉襟见肘,即使勉强使用,也会有“杀鸡使用牛刀”之感。……往往会导致计算任务堆积,一旦堆积过多,往往会导致系统负载过大,系统出现异常造成很多计算任务失败,用户行为数据丢失。……如果某个task有问题,则可能导致整个worker进程崩溃,导致其他task也不能正常工作了,也就是说局部的错误会被放大。