← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1773.f

定位元数据后直读块

理解等级:中级

GFS客户端先用文件名和文件偏移向Master查询Chunk编号与存储位置,再直接连接Chunk服务器读取指定范围。Master承担命名和定位,正常数据传输不绕经它;客户端缓存映射减少管理请求,但位置失效后仍须重新定位。Chunk是放置与副本管理单位,不能与底层读取或校验的更小单位混同。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 分布式文件系统 · 查看原书依据

      如图8-2所示的GFS架构下,我们来看看“GFS客户端”是如何读取数据的。对于“GFS客户端”来说,应用开发者提交的读数据请求是:读取文件file,从某个位置P 开始读,读出大小为L 的数据。GFS系统在接收到这种请求后,会在内部做转换,因为Chunk大小是固定的,所以从位置P 和大小L 可以推算出要读的数据位于文件file中的第几个Chunk中,即请求被转换为<文件名file,Chunk序号>的形式。随后,GFS系统将这个请求发送给“主控服务器”,因为“主控服务器”保存了一些管理信息,通过“主控服务器”可以知道要读的数据在哪台“Chunk服务器”上,同时可以将Chunk序号转换为系统内唯一的Chunk编号,并将这两个信息传回到“GFS客户端”。

    参考来源

    - 位置:《大数据日知录:架构与算法》第8章《分布式文件系统》,原文段落27(OEBPS/text00013.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:如图8-2所示的GFS架构下,我们来看看“GFS客户端”是如何读取数据的。对于“GFS客户端”来说,应用开发者提交的读数据请求是:读取文件file,从某个位置P 开始读,读出大小为L 的数据。GFS系统在接收到这种请求后,会在内部做转换,因为Chunk大小是固定的,所以从位置P 和大小L 可以推算出要读的数据位于文件file中的第几个Chunk中,即请求被转换为<文件名file,Chunk序号>的形式。随后,GFS系统将这个请求发送给“主控服务器”,因为“主控服务器”保存了一些管理信息,通过“主控服务器”可以知道要读的数据在哪台“Chunk服务器”上,同时可以将Chunk序号转换为系统内唯一的Chunk编号,并将这两个信息传回到“GFS客户端”。