返回主题:状态与容错:状态存哪、错了怎么恢复

知识卡片

普通读书笔记卡 · 1788.a.3.b

流式迭代限制读取内存

理解等级:中级

范围内的列可能很多,客户端不应先把全部列载入内存再求和。书中的ColumnSliceIterator按需缓冲并分批取列,调用方逐项累加,使中间内存不必随整个范围结果同时增长。它控制的是客户端物化规模,不会让查询需要扫描的数据量凭空消失。

与[[共置排序数据以扫描代替寻道]]的联系:客户端按需批量迭代控制范围结果的物化内存。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第13章《实时视图:示例》(来源项目book-sources;源文件:extracted/大数据系统构建:可扩展实时数据系统构建原理与最佳实践/_epub-src/OEBPS/Text/099.xhtml) - 结论依据:208-i.jpg展示范围迭代累加;正文说明缓冲和批量取列,区别访问量与内存占用。 - 原始内容:它会从服务器自动缓冲并批处理这些列,这样就不会耗尽内存。