知识卡片

普通读书笔记卡

大文件切片复用小文件存储

理解等级:中级

TFS 面向小文件,大文件支持放在客户端:先切成多个约 2MB 的分片,分别存入 TFS,再把分片文件名列表作为一个特殊文件存回。读取时先取列表,再取分片并重组。这样复用服务端的存储机制;代价是读取多了一层索引和分片组装,客户端必须识别特殊文件名前缀。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据时代的IT架构设计》第 13 章《淘宝海量文件存储实践》“存储机制”(源文件:_epub-src/OEBPS/text00021.html) - 结论依据:原文明确说大文件支持不改变服务端机制,而由 Client 切片、存储分片名并在读取时重组;额外索引与组装是对该流程的直接推论。 - 原始内容:对于大文件的存储,Client会将大文件切分为多个小文件(通常每个2MB)分片,并将每个分片都存储到TFS,得到多个文件名,然后将多个文件名作为新的文件数据存储到TFS,得到一个新的文件名