返回主题:训练并行策略

知识卡片

普通读书笔记卡 · 2841

RPC像本地调用

理解等级:未标注

RPC 的抽象目标是让远程函数像本地函数一样被调用,但系统仍要处理对象引用、跨节点通信、自动求导和参数更新。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第13章《PyTorch如何实现模型并行》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_070.html) - 结论依据:原文定义 RPC 为节点请求远程服务,但用户代码保持本地调用感觉,并说明 PyTorch RPC 支持远程函数、RRef、自动求导和优化器。 - 原始内容:RPC是一种设计或者技术思想,而不是协议或者规范。对RPC最简单的理解就是一个节点请求另外一个节点所提供的服务,但对于用户代码来说需要维护一个本地调用的感觉,即调用远程函数要像调用本地函数一样,使远程服务或者代码看起来像运行在本地。