知识卡片

普通读书笔记卡

有分布键的表能在计划阶段直接定向插入,省去运行时重分布

理解等级:未标注

往一张MPP表里插入一行数据,”这行数据该存到哪个segment实例”这 件事什么时候能确定,直接决定了插入操作要付出多大的代价。如果 建表时指定了分布键(DISTRIBUTED BY column),插入一行数据时, QD在生成执行计划的这一刻就能算出结果:把这行的分布键值喂给 哈希函数(Greenplum用的是FNV哈希),算出哈希值后对segment实例 数量取模,直接得到这行该落在哪个具体实例上——这个结果在计划 生成阶段就已经写进了执行计划(directDispatch.contentIds字段), QD分发执行计划时会挨个比对每个segment的编号和这个计算好的目标 编号,只有匹配的那一个segment才会真正收到这条插入指令,其余 segment直接跳过,不掺和这次插入。如果建表时没指定分布键(随机 分布),QD在生成计划的时候根本无法预先知道”这行该去哪”——因为 “随机”这件事本身就是运行时才发生的,所以执行计划里没法带上 目标编号,只能退而求其次:把插入操作先广播/下发给所有segment 实例,让每个实例在真正拿到数据的那一刻各自决定往哪转发,这就 是一次典型的Redistribution Motion,要在运行时实打实地做一轮 跨实例网络交换。这个对比说明了”分布键”这个建表时的选择,价值 不只是”数据存哪”这么简单,它决定的是”目标节点能不能在计划 阶段被静态算出来”——能静态算出来,就能把原本运行时才发生的 数据搬运,提前变成一次编译期就能确定的直接寻址,彻底省掉一轮 网络交换。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入浅出Greenplum分布式数据库:原理、架构和代码分析》 第6章"分布式计算的实现"6.6节"哈希和重分布"(源文件: _epub-src/EPUB/xhtml/chapter12.xhtml) - 结论依据:原文明确"对于有分布键的表,比如t2,执行计划可以 直接按照哈希值算出应该把数据存在哪个segment实例上……与之 对比的是随机分布的表……Greenplum下发执行计划到每个segment 实例上以后做了一次重分布",并给出directDispatch.contentIds 字段及QD按segment编号匹配后才真正分发的代码逻辑,直接支撑 分布键使插入在计划阶段就能定向、随机分布则需运行时重分布 这一对比结论。 - 原始内容:对于有分布键的表,比如t2,执行计划可以直接按照 哈希值算出应该把数据存在哪个segment实例上……与之对比的是 随机分布的表……Greenplum下发执行计划到每个segment实例上 以后做了一次重分布。