返回主题:框架与集成:Storm、Spark 与消息系统怎么接
评估流计算平台不能只看吞吐量。还需依次检查集群架构与作业调度、DAG 和编程接口如何描述流、执行过程及反向压力、状态的保存与恢复、消息处理可靠性。五个维度对应不同业务风险:运行部署、表达能力、负载稳定、故障恢复和结果正确性。按需求逐项比较,才能判断成熟平台与自建轻量方案各自适用的边界。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
原书出处
参考来源
- 位置:《实时流计算系统设计与实现》第6章《开源流计算框架》(源文件:_epub-src/OEBPS/Text/chapter91.xhtml)
- 结论依据:原文先列出自建框架缺少调度、高层API、窗口与可靠性等问题,再明确按架构、描述、处理、状态、消息可靠性五方面考察平台。
- 原始内容:我们将从以下5个方面来考察各种流计算平台。 ·系统架构:理解一个流计算平台的设计架构,是使用这个流计算平台的基础。 ·流的描述:包括用于描述流计算应用运行步骤的DAG和相关的API。 ·流的处理:流的处理过程、相关的API及是否支持反向压力等。 ·流的状态:包括我们强调的流数据状态和流信息状态。 ·消息处理可靠性:如何保证消息传达的可靠性。