知识卡片
异或校验压缩待完成集合
Storm对派生消息标识在产生与确认时各做一次XOR,正确完成后成对抵消,用固定大小状态近似判断树是否结束。实际机制使用64位值,原图5位只是演示,碰撞概率不为零。它不是保存每个业务ID的去重集合,也不是对数据内容做密码学完整性认证。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 流式计算 · 查看原书依据
在Storm的送达保证机制中,如果一条数据i能够从Spout流转到某个终结节点(即这个节点不再产生数据i的衍生数据),对于其中任意一个由i衍生的数据,其对应的随机ID一定会被XOR操作两次:一次是在产生这个数据的上游节点,因为如果计算节点正确执行后,新产生的数据随机ID会被用来更新签名;另外一次是在其对应的下游节点,如果下游节点能够接收到上游节点传送来的数据,那么会用输入数据的随机ID去更新签名。所以对于任意一个衍生数据,其被赋予的随机ID被两次用来更新签名,所有的数据都是如此,所以签名的最后一定是0。以上面所举例子中的数据d2为例,更新签名的节点顺序依次为B、D、F、G,其对应完整的XOR操作过程是:(01001 XOR 01001)XOR(11011 XOR 11011)XOR(11101 XOR 11101)=0。
参考来源
- 位置:《大数据日知录:架构与算法》第12章《流式计算》,原文段落87(OEBPS/text00017.html)。
- 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。原文错误或过度断言据官方资料限定:[https://storm.apache.org/releases/current/Guaranteeing-message-processing.html](https://storm.apache.org/releases/current/Guaranteeing-message-processing.html)。
- 原始内容:在Storm的送达保证机制中,如果一条数据i能够从Spout流转到某个终结节点(即这个节点不再产生数据i的衍生数据),对于其中任意一个由i衍生的数据,其对应的随机ID一定会被XOR操作两次:一次是在产生这个数据的上游节点,因为如果计算节点正确执行后,新产生的数据随机ID会被用来更新签名;另外一次是在其对应的下游节点,如果下游节点能够接收到上游节点传送来的数据,那么会用输入数据的随机ID去更新签名。所以对于任意一个衍生数据,其被赋予的随机ID被两次用来更新签名,所有的数据都是如此,所以签名的最后一定是0。以上面所举例子中的数据d2为例,更新签名的节点顺序依次为B、D、F、G,其对应完整的XOR操作过程是:(01001 XOR 01001)XOR(11011 XOR 11011)XOR(11101 XOR 11101)=0。