知识卡片
随机排序支持并行抽样
书中固定数量抽样先给每条记录分配随机值,再选择随机值最小的N条。每个map任务先保留本地最小N条,最后从候选合并出全局最小N条,可避免把全部记录集中到单机。该思路仍须明确随机值的分布、并列处理及重试时的一致性;代码展示不等于本轮已验证了统计性质。
与[[部分聚合缩小全局瓶颈]]的联系:局部最小N候选合并支持随机排序抽样,缩小全局输入。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
找出随机数最小的N个元素。
参考来源
- 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第7章《批处理层:示例》(来源项目book-sources;源文件:extracted/大数据系统构建:可扩展实时数据系统构建原理与最佳实践/_epub-src/OEBPS/Text/057.xhtml)
- 结论依据:原文给出两步算法与Limit局部筛选、再全局合并的实现思路。
- 原始内容:找出随机数最小的N个元素。