知识卡片
计算回调与持久状态接口
MillWheel的Computation暴露ProcessRecord与ProcessTimer回调,处理新记录和计时触发;SetTimer、ProduceRecord与MutablePersistentState提供计时、输出和状态访问能力。应用在计算节点内部实现逻辑,框架负责可靠推进。持久状态接口不能让任意外部请求自动进入同一原子提交范围。
结构图:
classDiagram
class Computation {
void ProcessRecord(Record data)
void ProcessTimer(Timer timer)
void SetTimer(string tag, int64 time)
void ProduceRecord(Record data, string stream)
StateType MutablePersistentState()
}
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 流式计算 · 查看原书依据
MillWheel的API接口分为两类,一类是计算节点的主要处理逻辑,包括ProcessRecord和 ProcessTimer。当计算节点接收到一条数据记录时会触发ProcessRecord处理逻辑,其对数据进行加工;ProcessTimer则是由定时器触发的计算逻辑。第二类接口主要做一些完成任务的辅助操作,比如,状态持久化或者产生衍生数据,或者设定定时器等操作。当应用开发者完成每个计算节点对应接口的逻辑,并描述清楚各个计算节点的拓扑连接关系时,则整个流式计算系统的驱动都交由流式计算框架来负责。
参考来源
- 位置:《大数据日知录:架构与算法》第12章《流式计算》,原文段落42(OEBPS/text00017.html)。
- 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。
- 原始内容:MillWheel的API接口分为两类,一类是计算节点的主要处理逻辑,包括ProcessRecord和 ProcessTimer。当计算节点接收到一条数据记录时会触发ProcessRecord处理逻辑,其对数据进行加工;ProcessTimer则是由定时器触发的计算逻辑。第二类接口主要做一些完成任务的辅助操作,比如,状态持久化或者产生衍生数据,或者设定定时器等操作。当应用开发者完成每个计算节点对应接口的逻辑,并描述清楚各个计算节点的拓扑连接关系时,则整个流式计算系统的驱动都交由流式计算框架来负责。