知识卡片
Region是HBase并行计算的切分单位
计算框架读取 HBase 表时,可用 TableInputFormat 按 Region 切成多个 InputSplit,让不同任务并行处理;TableOutputFormat 则负责向表写入。Region 原本是 Row Key 范围的存储分区,在这里又成为计算任务的分配单位,因此分区划分会影响存储负载,也影响读取并行度。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第7章《分布式结构化存储系统》7.4.4(源文件:_epub-src/OEBPS/text00052.html)
- 结论依据:原文明确指出 TableInputFormat 以 Region 划分数据,一个 Region 映射一个 InputSplit,交给一个任务处理。
- 原始内容:HBase提供了TableInputFormat和TableOutputFormat两个组件供各类计算引擎并行读取或写入HBase中的数据,其中,TableInputFormat以HBase Region为单位划分数据,每个Region会被映射成一个InputSplit,可被一个任务处理;TableOutputFormat可将数据插入到HBase中。