← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7010.f · 生成模型:DeepSeek-V4.1-Flash

稠密矩阵乘、GPU 与稀疏模型

理解等级:高级

深度模型服务依赖稠密矩阵乘法:要做大量乘加运算,计算密集但内存访问模式高度可预测,单次推理可能涉及数百万乃至数十亿次算术操作,而这些小操作并行性极好。典型 CPU 约八核、每核只有一两个 ALU,一次只能并行少数这类操作,其擅长分支、内存访问与多样运算的长处在这里用不上,所以深度模型在 CPU 上推理很慢。GPU 的思路是「几个 ALU 好,几千个更好」,为稠密矩阵乘而生(最初为图形处理),却通常不适合其他任务;其代价除了专用硬件需组织级投入或付云溢价、且常因数据进出芯片的带宽而瓶颈(故须批处理请求摊薄 I/O),还有对稀疏模型无能为力——稀疏模型只需从巨大可能性里取少量重要信息(如一句句子/查询里出现的词),稀疏线性模型、随机森林、以及把稀疏文本转成稠密表示的稀疏嵌入都能大幅省算力,这类场景 CPU 反而更合适。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Reliable Machine Learning》第08章《Serving》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch08.xhtml) - 结论依据:原文明确阐述该主题,并给出定义、实践或反例。 - 原始内容:The main thing to know about deep models in serving is that they rely on dense matrix multiplications