知识卡片
Beam 的侧输入广播与侧输出分流
Beam 的 side input 将较小的 PCollection 转为只读视图,供处理大集合的 ParDo 读取,可用于小表与大表连接。side output 让同一 ParDo 按 TupleTag 输出多个 PCollection,例如把正常结果与需单独处理的记录分流。两者方向不同:前者补充计算时可读的数据,后者拆分计算产生的结果。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第15章《大数据统一编程模型》15.3.4 side input 与 side output(源文件:`_epub-src/OEBPS/text00120.html`)
- 结论依据:原书以小表 map-side join 解释 side input,并以多个 TupleTag 标记的输出解释 side output。
- 原始内容:一个ParDo Transform可产生多个输出PCollection,包括一个主PCollection和任意多个附属PCollection