知识卡片
自动再平衡的风险
全自动再平衡能减少运维工作,但有连锁风险。节点只是暂时过载变慢时,自动故障检测可能误判它已失效并触发再平衡;再平衡要重新路由请求、搬运大量数据,额外负担压到本已过载的节点和网络上,可能演变成级联失败。两个各自合理的自动化机制拼在一起,一个的误判触发另一个的重操作,形成正反馈。所以 Couchbase、Riak、Voldemort 由系统生成方案、管理员确认后执行,慢一些,却能拦住误判放大的连锁反应。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第六章:分区
原书出处 · 1 处
- 第六章:分区 · 查看原书依据
这种自动化与自动故障检测相结合可能十分危险。例如,假设一个节点过载,并且对请求的响应暂时很慢。其他节点得出结论:过载的节点已经死亡,并自动重新平衡集群,使负载离开它。这会对已经超负荷的节点,其他节点和网络造成额外的负载,从而使情况变得更糟,并可能导致级联失败。
参考来源
- 位置:《数据密集型应用系统设计》第六章《分区》"运维:手动还是自动再平衡"
(源文件:_epub-src/ch6_split_005.html)
- 结论依据:原文举例说明节点暂时过载响应慢时若被自动判定为死亡并触发自动再平衡,
会给已过载节点、其他节点和网络造成额外负载、使情况恶化甚至导致级联失败,因此
建议再平衡过程有人参与,直接支撑本卡片结论。
- 原始内容:这种自动化与自动故障检测相结合可能十分危险。例如,假设一个节点过载,并且对请求的响应暂时很慢。其他节点得出结论:过载的节点已经死亡,并自动重新平衡集群,使负载离开它。这会对已经超负荷的节点,其他节点和网络造成额外的负载,从而使情况变得更糟,并可能导致级联失败。