知识卡片
任务目录不是恰好一次
示例用tasks目录记录新任务,管理进程向machines/m-i下建立分配节点,worker执行后删除两处记录。若执行成功后删除前崩溃,重试可能重复;若先清理再完成又可能丢任务。原书只是协调骨架,生产上还需持久任务状态、认领代际、幂等执行与结果确认,不能由目录删除顺序证明恰好一次。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 分布式协调系统 · 查看原书依据
对于监控进程来说,可以创建任务队列管理节点tasks,所有新进入系统的任务都可以在tasks节点下创建子节点,监控进程观察tasks节点的变化。当有新增任务task-j 时ZooKeeper通知监控进程,监控进程找到新增任务并将其分配给机器i ,然后在machines目录下对应的m-i 节点创建子节点task-j ,这意味着将task-j 任务分配给了机器m-i 。每台工作服务器在machines节点下创建对应子节点,并监听这个子节点的变化,当m-i 发现有新增子节点task-j 时说明有新分配的任务,可以读出任务信息并执行任务;在执行完task-j 后,机器m-i 将machines/m-i 下的task-j 子节点删除,也同时删除tasks节点下的task-j 子节点,代表任务已经执行完成,监控进程通过监听tasks可以获知这一情况。 通过这种方式可以在监控进程和不同服务器间相互同步来完成任务的分配工作。
参考来源
- 位置:《大数据日知录:架构与算法》第5章《分布式协调系统》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00010.html)
- 结论依据:原文以“在执行完task-j 后”所在段落解释具体机制;本卡保留其条件,另将实现限制、勘误和教学推导在正文中明确区分。
- 原始内容:对于监控进程来说,可以创建任务队列管理节点tasks,所有新进入系统的任务都可以在tasks节点下创建子节点,监控进程观察tasks节点的变化。当有新增任务task-j 时ZooKeeper通知监控进程,监控进程找到新增任务并将其分配给机器i ,然后在machines目录下对应的m-i 节点创建子节点task-j ,这意味着将task-j 任务分配给了机器m-i 。每台工作服务器在machines节点下创建对应子节点,并监听这个子节点的变化,当m-i 发现有新增子节点task-j 时说明有新分配的任务,可以读出任务信息并执行任务;在执行完task-j 后,机器m-i 将machines/m-i 下的task-j 子节点删除,也同时删除tasks节点下的task-j 子节点,代表任务已经执行完成,监控进程通过监听tasks可以获知这一情况。 通过这种方式可以在监控进程和不同服务器间相互同步来完成任务的分配工作。
- 边界对照:[ZooKeeper编程指南](https://zookeeper.apache.org/doc/current/zookeeperProgrammers.html)、[ZooKeeper协调配方](https://zookeeper.apache.org/doc/current/recipes.html);用于校正原书简化,未将书外观点伪作原文。