返回主题:软件定义存储数据服务

知识卡片

结构图卡

算法定位存储仍须验证一致性

理解等级:未标注

新浪视频团队因人工扩容和既有元数据布局不适用,设计了让请求方按算法计算资源位置的分布式小文件系统,以减少中心索引依赖。相同资源的请求先落在同一位置,是该方案的定位规则;实际全局一致性、故障切换、重分布与副本恢复仍需实现和验证。原书明确说它只完成 DEMO,文件传输尚未完成、暂用 FTP,同样承认难保全局一致性、不能修改文件和难做实时快照。不能把列出的“无单点”“完全平行扩展”当成已验证的生产结果。

结构图:

flowchart LR
    A[常见分布式文件系统两类] --> B[数据集中 + MetaData分布]
    A --> C[数据分布 + MetaData集中: 集中部分成单点瓶颈]
    A --> D[自研思路: 去掉中心, 用算法直接定位资源]
    D --> D1[设计目标: 减少中心依赖/节点角色相同/平行扩展]
    D --> D2[代价: 难保证全局一致性/仅能删不能改/难实时快照]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据时代的IT架构设计》第6篇《庶民架构——新浪视频后台架构变迁》"三、 视频存储系统"(源文件:_epub-src/OEBPS/text00029.html) - 结论依据:原文说明市面分布式文件系统分数据集中/MetaData分布和数据分布/MetaData 集中两类,自研系统去掉任何中心的东西、通过算法定位资源,并列出无单点、节点角色 相同、平行扩展、写入性能不随冗余份数下降的优势,以及难保证全局一致性、仅能删除、 难实时快照的不足,支撑设计目标与限制的结构梳理;这些性能主张在原文只属于 DEMO 阶段的描述。 - 原始内容:这两类系统在我们的应用场景中都会遇到问题……这个系统的设计思想其实是去掉 任何中心的东西,通过一些算法代替存储。任何资源请求方都能算出需要的资源在什么地方 ……适用小文件/通过计算定位物理路径,无单点/所有数据节点角色相同,易于管理/结构无 瓶颈,完全平行扩展/写入性能不随文件冗余份数增加而下降……较难保证文件全局一致性, 不提供修改功能(仅能删)/难以实时生成系统快照。