知识卡片
流式迭代限制读取内存
范围内的列可能很多,客户端不应先把全部列载入内存再求和。书中的ColumnSliceIterator按需缓冲并分批取列,调用方逐项累加,使中间内存不必随整个范围结果同时增长。它控制的是客户端物化规模,不会让查询需要扫描的数据量凭空消失。
与[[共置排序数据以扫描代替寻道]]的联系:客户端按需批量迭代控制范围结果的物化内存。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
它会从服务器自动缓冲并批处理这些列,这样就不会耗尽内存。
参考来源
- 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第13章《实时视图:示例》(来源项目book-sources;源文件:extracted/大数据系统构建:可扩展实时数据系统构建原理与最佳实践/_epub-src/OEBPS/Text/099.xhtml)
- 结论依据:208-i.jpg展示范围迭代累加;正文说明缓冲和批量取列,区别访问量与内存占用。
- 原始内容:它会从服务器自动缓冲并批处理这些列,这样就不会耗尽内存。