知识卡片
边缘服务的优势与四类代价
边缘服务把模型部署到设备上(IoT 门铃、自动驾驶汽车直到今天联网边缘主体的智能手机),通常仍配服务端补充模型填补空缺,多数应用主要靠设备端推理。优势:低延迟且近瞬时无丢包风险,自动驾驶这类高延迟或抖动可能造成事故伤亡的场景几乎是强制要求;网络更高效(本地答得越多、上网越少);隐私安全更好(本地推理使数据与预测更难被攻破,对涉及 PII 的个性化搜索/推荐尤其有用);网络不稳时更可靠;某些情况下本地计算比传输更省电。代价:边缘算力有限只能做少数任务,大模型训练与服务仍归非边缘设施;吃内存又算力昂贵的模型难塞进内存受限设备(SqueezeNet、MobileNet 等参数高效网络即为缓解);设备异构与专用语言使 iOS/Android 保持一致很难,且需 ML 与移动两个高度领域化群体协作,易造成稀缺专家团队的组织紧张;设备软件版本在用户手里,推了关键改进不代表用户会升级,模型须长期稳健运行并维持预测与端上学习配置,是带大量前瞻性技术债与遗留支持的重大架构承诺。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Serving · 查看原书依据
An edge device might be anything from an Internet of Things (IoT) doorbell to self-driving vehicles, or anything in between. Today, the bulk of edge devices with an internet connection are modern smartphones.
参考来源
- 位置:《Reliable Machine Learning》第08章《Serving》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch08.xhtml)
- 结论依据:原文明确阐述该主题,并给出定义、实践或反例。
- 原始内容:An edge device might be anything from an Internet of Things (IoT) doorbell to self-driving vehicles, or anything in between. Today, the bulk of edge devices with an internet connection are modern smartphones.