知识卡片

结构图卡 · 1777.a.1

计算回调与持久状态接口

理解等级:中级

MillWheel的Computation暴露ProcessRecord与ProcessTimer回调,处理新记录和计时触发;SetTimer、ProduceRecord与MutablePersistentState提供计时、输出和状态访问能力。应用在计算节点内部实现逻辑,框架负责可靠推进。持久状态接口不能让任意外部请求自动进入同一原子提交范围。

结构图:

classDiagram
class Computation {
 void ProcessRecord(Record data)
 void ProcessTimer(Timer timer)
 void SetTimer(string tag, int64 time)
 void ProduceRecord(Record data, string stream)
 StateType MutablePersistentState()
}
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 流式计算 · 查看原书依据

      MillWheel的API接口分为两类,一类是计算节点的主要处理逻辑,包括ProcessRecord和 ProcessTimer。当计算节点接收到一条数据记录时会触发ProcessRecord处理逻辑,其对数据进行加工;ProcessTimer则是由定时器触发的计算逻辑。第二类接口主要做一些完成任务的辅助操作,比如,状态持久化或者产生衍生数据,或者设定定时器等操作。当应用开发者完成每个计算节点对应接口的逻辑,并描述清楚各个计算节点的拓扑连接关系时,则整个流式计算系统的驱动都交由流式计算框架来负责。

    参考来源

    - 位置:《大数据日知录:架构与算法》第12章《流式计算》,原文段落42(OEBPS/text00017.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:MillWheel的API接口分为两类,一类是计算节点的主要处理逻辑,包括ProcessRecord和 ProcessTimer。当计算节点接收到一条数据记录时会触发ProcessRecord处理逻辑,其对数据进行加工;ProcessTimer则是由定时器触发的计算逻辑。第二类接口主要做一些完成任务的辅助操作,比如,状态持久化或者产生衍生数据,或者设定定时器等操作。当应用开发者完成每个计算节点对应接口的逻辑,并描述清楚各个计算节点的拓扑连接关系时,则整个流式计算系统的驱动都交由流式计算框架来负责。