返回主题:批处理作业的写法:连接、聚合与作业抽象

知识卡片

普通读书笔记卡 · 1786.c.2

管道元组字段保持不可变

理解等级:中级

管道计算以带字段名的元组传递数据。函数读取已有字段并产生新字段,过滤器移除不合要求的元组;已有字段在其存活期间不原地改写。字段不再被后续操作需要时可以丢弃,从而减少序列化与网络传输。字段不可变是值的语义,提前丢弃则是生命周期优化,二者并不矛盾。

与[[管道图思维]]的联系:不可变元组字段规定管道变换的值语义及生命周期。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第6章《批处理层》(来源项目book-sources;源文件:extracted/大数据系统构建:可扩展实时数据系统构建原理与最佳实践/_epub-src/OEBPS/Text/051.xhtml) - 结论依据:原文经Split、过滤、Count和Double例子说明字段创建和自动裁剪。 - 原始内容:字段一旦被创建,就不可变。