SISD/SIMD/MIMD 并行架构分类

并行处理架构可按”指令流”和”数据流”两个维度分类：传统单处理器机器是单指令流单数据流（SISD），一次只执行一条指令处理一份数据；多个处理器各自独立运行不同程序、处理不同数据，称为多指令流多数据流（MIMD），适合协调完成异构的大任务；多个处理器执行同一套指令、但各自处理不同的数据集，称为单指令流多数据流（SIMD），适合对一大批相似数据统一做同一种操作（如图像批量滤镜）。发散：这个分类框架至今仍是理解并行计算硬件选型的基础坐标——GPU 之所以擅长图形渲染和深度学习中的大规模矩阵运算，本质是把 SIMD 这种架构做到了极致，而分布式集群里各节点跑不同任务、处理不同数据，则更接近 MIMD 的思路。