知识卡片
Hadoop开放平台认证风险
把一个原本单团队使用的Hadoop集群开放给公司内多个团队共用,会暴露出Hadoop默认设计里
“没打算被多个互不信任的主体共用”这个前提假设,具体表现为四类身份认证缺失导致的风险:
一是Linux终端随意连接——Hadoop服务默认不对连接的Linux终端做认证,只要知道服务地址、
且在某台机器上有root权限,就能操作HDFS上的全部资源;二是非法应用的连接——上传数据到
HDFS的第三方应用同样不做身份认证,任何知道服务地址的程序都能写入/篡改数据,还能开发
私有程序过度消耗计算资源、挤占正常业务的报表计算;三是用户身份的冒充——提交MapReduce
作业时只需把user.name属性设成任意用户名就能冒充身份,后果是越权访问该用户本无权限
访问的数据,以及成本核算被算错到别人头上;四是slave节点随意添加——HDFS/MapReduce的
master/slave结构下,slave节点在早期集群里可以被任意添加,不可靠的slave一旦被恶意
下架,可能导致原本三副本存储的文件三个副本恰好都在这些节点上而彻底丢失。这四类风险的
共同根源是”共享同一个信任域”和”零身份认证”之间的矛盾——单团队自用时无人有动机搞破坏,
一旦开放给多个互不信任的团队,同样的默认配置就从”够用”变成”极度不安全”。书中启用
Kerberos 为用户和节点补充身份认证,但身份可信不等于授权正确,仍须维护 HDFS 权限、用户组
和节点接入规则;它也不能单独消除资源滥用或故障数据丢失风险。
结构图:
flowchart TD
A[Hadoop默认无身份认证] --> B[Linux终端随意连接<br/>知地址+root即可操作全部HDFS资源]
A --> C[非法应用连接<br/>任意程序可写入/篡改数据或抢占计算资源]
A --> D[用户身份冒充<br/>伪造user.name越权访问/成本核算错位]
A --> E[slave节点随意添加<br/>恶意下架可能导致文件三副本同时丢失]
A -->|引入Kerberos身份认证| F[识别用户与节点身份]
F --> G[仍需授权/资源配额/节点运维]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据时代的IT架构设计》第1篇《优酷土豆Hadoop平台开放之路》"安全架构"
(源文件:_epub-src/OEBPS/text00008.html)
- 结论依据:原文逐一列出Linux终端随意连接、非法应用的连接、用户身份的冒充、slave节点
随意添加四类安全问题,并对每类给出具体触发场景和后果,直接支撑本卡片的结构梳理。
- 原始内容:Hadoop集群默认并没对连接其服务的Linux终端做身份认证……在我们提交MapReduce
作业时,只要将user.name的属性设置成你期望伪造的身份,就可以冒充该身份进行作业提交……
假设我们每一份文件都是三个备份存储,随后被其他用户添加几个未知的slave节点到集群中,
恰好某个文件的三个备份都存储在这新添加的slave节点上……将导致这个文件的丢失。