知识卡片

普通读书笔记卡 · 7010.e · 生成模型:DeepSeek-V4.1-Flash

模型该放在哪里

理解等级:中级

在虚拟机与云计算的时代容易忘记计算机是物理设备,模型必须存放在某个具体地点的物理机器上,而「家」的选择对整体服务架构影响重大。开发者本地机器不算生产方案,只适合小规模原型与定制用途,早期依赖它常给日后迁移生产制造意外麻烦;组织自有/自管服务器在隐私或安全要求特殊、延迟极度关键、或需要专用硬件时合适,但扩缩容不灵活且要格外关注监控;云上托管推理服务可自动解决部分监控(整体模型质量与预测性能仍需独立验证),但往返延迟因网络更高、还要面对跨网传输的隐私安全与「某些受监管数据须留在特定司法辖区」的治理约束;端侧/边缘因设备算力可观而被广泛采用,模型多半需存本地以免持续联网并规避复杂隐私,代价是内存与功耗严格受限、推送更新未必及时甚至永不抵达,测试与验证的重要性因此陡增,个别持续监听场景甚至要把模型固化到硬件级换效率、代价是几乎无法更新。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • Serving · 查看原书依据

      We need to determine the home (or homes) for our model, and this choice has significant implications on the overall serving system architecture. Here are some options to consider.

    参考来源

    - 位置:《Reliable Machine Learning》第08章《Serving》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch08.xhtml) - 结论依据:原文明确阐述该主题,并给出定义、实践或反例。 - 原始内容:We need to determine the home (or homes) for our model, and this choice has significant implications on the overall serving system architecture. Here are some options to consider.