知识卡片

普通读书笔记卡

用户级独立挖掘适合并行计算

理解等级:中级

兴趣词图挖掘以单个用户为处理边界:每人的历史词和相似关系可独立计算,无须等待其他用户的结果。因此可以把用户任务分发到多台机器并行运行。按用户划分减少跨任务协调,但用户数据量可能悬殊;实际分片仍需检查热点用户和任务倾斜,不能只看任务总数。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据时代的IT架构设计》第3篇《微博用户兴趣建模系统架构》“三、离线挖掘系统”(源文件:_epub-src/OEBPS/text00013.html) - 结论依据:原文指出每次运算在单个用户基础上,记录之间无耦合,因此适合用 Hadoop MapReduce 分布计算;倾斜是对并行方案的应用边界提醒。 - 原始内容:在具体实现时,因为每次运算都是在单个用户基础上,记录之间无耦合性,所以非常适合在Hadoop平台下使用MapReduce来分布计算,加快运算效率。