知识卡片
高基数分组仍有内存上限
分组键过多时,可把各键按哈希分派给不同归并节点,每个节点只处理一部分组。但分片不是无限内存:结果可能大到无法展示,仍需限制分组数量、截取前若干结果或拒绝不可承受的查询。能存高基数事件与能无界返回所有分组是不同能力。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 高效的数据存储 · 查看原书依据
每个Lambda(或无服务器)函数都是一个mapper,它独立处理一个或多个片段目录,并将结果通过中间合并的集合提供给一个集中的reduce worker来计算最终结果。
参考来源
- 位置:《可观测性工程》第16章《高效的数据存储》(来源项目:book-sources;源文件:extracted/可观测性工程/_epub-src/OEBPS/029.xhtml)
- 结论依据:原文围绕“reduce worker”给出的机制、条件或对比支持本卡;根据完整上下文解释,图中示例仅作为概念演示,未声称运行结果。
- 原始内容:每个Lambda(或无服务器)函数都是一个mapper,它独立处理一个或多个片段目录,并将结果通过中间合并的集合提供给一个集中的reduce worker来计算最终结果。