知识卡片
定位元数据后直读块
GFS客户端先用文件名和文件偏移向Master查询Chunk编号与存储位置,再直接连接Chunk服务器读取指定范围。Master承担命名和定位,正常数据传输不绕经它;客户端缓存映射减少管理请求,但位置失效后仍须重新定位。Chunk是放置与副本管理单位,不能与底层读取或校验的更小单位混同。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 分布式文件系统 · 查看原书依据
如图8-2所示的GFS架构下,我们来看看“GFS客户端”是如何读取数据的。对于“GFS客户端”来说,应用开发者提交的读数据请求是:读取文件file,从某个位置P 开始读,读出大小为L 的数据。GFS系统在接收到这种请求后,会在内部做转换,因为Chunk大小是固定的,所以从位置P 和大小L 可以推算出要读的数据位于文件file中的第几个Chunk中,即请求被转换为<文件名file,Chunk序号>的形式。随后,GFS系统将这个请求发送给“主控服务器”,因为“主控服务器”保存了一些管理信息,通过“主控服务器”可以知道要读的数据在哪台“Chunk服务器”上,同时可以将Chunk序号转换为系统内唯一的Chunk编号,并将这两个信息传回到“GFS客户端”。
参考来源
- 位置:《大数据日知录:架构与算法》第8章《分布式文件系统》,原文段落27(OEBPS/text00013.html)。
- 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。
- 原始内容:如图8-2所示的GFS架构下,我们来看看“GFS客户端”是如何读取数据的。对于“GFS客户端”来说,应用开发者提交的读数据请求是:读取文件file,从某个位置P 开始读,读出大小为L 的数据。GFS系统在接收到这种请求后,会在内部做转换,因为Chunk大小是固定的,所以从位置P 和大小L 可以推算出要读的数据位于文件file中的第几个Chunk中,即请求被转换为<文件名file,Chunk序号>的形式。随后,GFS系统将这个请求发送给“主控服务器”,因为“主控服务器”保存了一些管理信息,通过“主控服务器”可以知道要读的数据在哪台“Chunk服务器”上,同时可以将Chunk序号转换为系统内唯一的Chunk编号,并将这两个信息传回到“GFS客户端”。