知识卡片
算法定位存储仍须验证一致性
新浪视频团队因人工扩容和既有元数据布局不适用,设计了让请求方按算法计算资源位置的分布式小文件系统,以减少中心索引依赖。相同资源的请求先落在同一位置,是该方案的定位规则;实际全局一致性、故障切换、重分布与副本恢复仍需实现和验证。原书明确说它只完成 DEMO,文件传输尚未完成、暂用 FTP,同样承认难保全局一致性、不能修改文件和难做实时快照。不能把列出的“无单点”“完全平行扩展”当成已验证的生产结果。
结构图:
flowchart LR
A[常见分布式文件系统两类] --> B[数据集中 + MetaData分布]
A --> C[数据分布 + MetaData集中: 集中部分成单点瓶颈]
A --> D[自研思路: 去掉中心, 用算法直接定位资源]
D --> D1[设计目标: 减少中心依赖/节点角色相同/平行扩展]
D --> D2[代价: 难保证全局一致性/仅能删不能改/难实时快照]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据时代的IT架构设计》第6篇《庶民架构——新浪视频后台架构变迁》"三、
视频存储系统"(源文件:_epub-src/OEBPS/text00029.html)
- 结论依据:原文说明市面分布式文件系统分数据集中/MetaData分布和数据分布/MetaData
集中两类,自研系统去掉任何中心的东西、通过算法定位资源,并列出无单点、节点角色
相同、平行扩展、写入性能不随冗余份数下降的优势,以及难保证全局一致性、仅能删除、
难实时快照的不足,支撑设计目标与限制的结构梳理;这些性能主张在原文只属于 DEMO 阶段的描述。
- 原始内容:这两类系统在我们的应用场景中都会遇到问题……这个系统的设计思想其实是去掉
任何中心的东西,通过一些算法代替存储。任何资源请求方都能算出需要的资源在什么地方
……适用小文件/通过计算定位物理路径,无单点/所有数据节点角色相同,易于管理/结构无
瓶颈,完全平行扩展/写入性能不随文件冗余份数增加而下降……较难保证文件全局一致性,
不提供修改功能(仅能删)/难以实时生成系统快照。