原书出处
大数据日知录_架构与算法
05 分布式协调系统
对于监控进程来说,可以创建任务队列管理节点tasks,所有新进入系统的任务都可以在tasks节点下创建子节点,监控进程观察tasks节点的变化。当有新增任务task-j 时ZooKeeper通知监控进程,监控进程找到新增任务并将其分配给机器i ,然后在machines目录下对应的m-i 节点创建子节点task-j ,这意味着将task-j 任务分配给了机器m-i 。每台工作服务器在machines节点下创建对应子节点,并监听这个子节点的变化,当m-i 发现有新增子节点task-j 时说明有新分配的任务,可以读出任务信息并执行任务;在执行完task-j 后,机器m-i 将machines/m-i 下的task-j 子节点删除,也同时删除tasks节点下的task-j 子节点,代表任务已经执行完成,监控进程通过监听tasks可以获知这一情况。 通过这种方式可以在监控进程和不同服务器间相互同步来完成任务的分配工作。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00010.html
EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d