知识卡片

普通读书笔记卡 · 1783.c.1.a.6

Beam 的侧输入广播与侧输出分流

理解等级:中级

Beam 的 side input 将较小的 PCollection 转为只读视图,供处理大集合的 ParDo 读取,可用于小表与大表连接。side output 让同一 ParDo 按 TupleTag 输出多个 PCollection,例如把正常结果与需单独处理的记录分流。两者方向不同:前者补充计算时可读的数据,后者拆分计算产生的结果。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第15章《大数据统一编程模型》15.3.4 side input 与 side output(源文件:`_epub-src/OEBPS/text00120.html`) - 结论依据:原书以小表 map-side join 解释 side input,并以多个 TupleTag 标记的输出解释 side output。 - 原始内容:一个ParDo Transform可产生多个输出PCollection,包括一个主PCollection和任意多个附属PCollection