知识卡片
Hive分区表与分桶表:两种不同的数据划分优化粒度
Hive表可以按两种不同粒度进一步细分数据组织,分别针对不同的查询模式做优化。分区表按某个(或某几个)字段把表拆成多个分区(如按国家、按日期),不同分区的数据物理上存放在不同目录里——好处是当查询语句本身只涉及其中若干个分区时(比如”只看某天某国家的数据”),可以直接跳过其他分区目录、完全不去扫描,大幅节省磁盘IO;分区数目通常不多、分区键的取值集合相对有限可枚举(如国家、日期)。分桶表则更进一步,把一个数据表(或数据表的某个分区)按某个字段的哈希值取模,拆成固定数目的若干”桶”(如按userid分成32个桶,桶编号=hash_function(userid) mod 32)——这个划分粒度更细,可为数据采样、多表连接(如满足分桶兼容条件的map side join)等场景提供确定性放置;相同热点键仍落同一桶,哈希分桶本身不能消除该键倾斜,需另选键或采取其他倾斜处理策略。可迁移启发:分区解决的是”整批数据能否被跳过不读”的问题,分桶解决的是”能否按确定性规则放置并对齐数据”的问题——前者是粗粒度的目录级过滤,后者是细粒度的、面向采样与连接优化的确定性哈希划分,两者可以叠加使用(先按国家/日期分区,分区内部再按某高基数字段分桶),针对不同性质的查询/连接场景各自发力。
结构图:
flowchart TB
A["Hive数据划分两种粒度"]
A --> P["分区表(PARTITIONED BY)<br/>按字段(如国家/日期)分目录存放<br/>查询命中特定分区可跳过其余目录,省磁盘IO"]
A --> B["分桶表(CLUSTERED BY...INTO N BUCKETS)<br/>按字段哈希值mod N分桶<br/>用于:数据采样/兼容分桶的join;热点键仍可能倾斜"]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第14章《数据分析语言HQL与SQL》之"14.4 HQL"(源文件:_epub-src/OEBPS/text00114.html)
- 结论依据:原文说明"分区表:数据表可以按照某一个或几个字段进一步划分成多个数据分区……不同分区的数据将被存放在不同目录中。这样,当一个查询语句只需要用到里面的若干个分区时,其他分区则可直接跳过扫描,大大节省不必要的磁盘IO……分桶表:数据表或数据分区可进一步按照某个字段分成若干个桶……实际是按照公式hash_function(bucketing_column)mod num_buckets计算得到具体桶编号的……分桶表对倾斜数据表……分析、数据采样和多表连接(尤其是map side join)等场景有特殊优化", 支撑分区与分桶的组织方式;原书提及倾斜分析场景,但哈希公式不能证明热点键自动均匀。
- 原始内容:比如语句"CLUSTERED BY(userid)INTO 32 BUCKETS"可将数据表按照userid这一字段分成32个桶。