知识卡片
稠密矩阵乘、GPU 与稀疏模型
深度模型服务依赖稠密矩阵乘法:要做大量乘加运算,计算密集但内存访问模式高度可预测,单次推理可能涉及数百万乃至数十亿次算术操作,而这些小操作并行性极好。典型 CPU 约八核、每核只有一两个 ALU,一次只能并行少数这类操作,其擅长分支、内存访问与多样运算的长处在这里用不上,所以深度模型在 CPU 上推理很慢。GPU 的思路是「几个 ALU 好,几千个更好」,为稠密矩阵乘而生(最初为图形处理),却通常不适合其他任务;其代价除了专用硬件需组织级投入或付云溢价、且常因数据进出芯片的带宽而瓶颈(故须批处理请求摊薄 I/O),还有对稀疏模型无能为力——稀疏模型只需从巨大可能性里取少量重要信息(如一句句子/查询里出现的词),稀疏线性模型、随机森林、以及把稀疏文本转成稠密表示的稀疏嵌入都能大幅省算力,这类场景 CPU 反而更合适。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Serving · 查看原书依据
The main thing to know about deep models in serving is that they rely on dense matrix multiplications
参考来源
- 位置:《Reliable Machine Learning》第08章《Serving》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch08.xhtml)
- 结论依据:原文明确阐述该主题,并给出定义、实践或反例。
- 原始内容:The main thing to know about deep models in serving is that they rely on dense matrix multiplications