主题对照

硬件加速与任务卸载

比较算法加速、任务卸载、异构计算与 DPU/IPU 的递进关系,处理器谱系的指令复杂度取舍,以及决定加速收益的可加速比例、数据搬运和能耗根源。

144 张卡片 · 7 本书

本层 144 张卡片 · 含下级覆盖 144 张卡片

本主题的卡片

软硬件融合 (黄朝波 著) · 引言

转向以数据为核心

以CPU为中心的处理,需要把相关数据送到CPU;当搬运成本和主机处理能力成为约束时,可以把一部分处理放在靠近存储或传输数据的位置。这里改变的是处理位置和分工,而不是取消CPU或要求所有工作硬件化。数据总量增长并不必然使局部性失效,还要看工作集、访问方式和缓存覆盖;只有明确这些成本,才能判断近数据处理是否值得。

查看卡片与原书出处

软硬件融合 (黄朝波 著) · 云计算底层软硬件

异构加速与任务卸载

业务异构加速与后台任务卸载都需要软件和硬件协作,但服务边界不同。前者为用户业务选择CPU与加速器的分工,用户需要面对相应平台;后者把虚拟网络、存储等基础设施处理从主机侧移走,希望保持上层访问方式。数据面是大量实际数据处理,控制面是配置、管理和调度;硬件处理数据面、软件处理控制面是本书提出的目标分工,不能当作所有实现必然如此。

查看卡片与原书出处

软硬件融合 (黄朝波 著) · 云计算底层软硬件

后台卸载的营收逻辑

后台I/O处理占用主机CPU,会减少可留给用户业务的计算能力。卸载的商业价值因此不仅是处理包更快,还可能是释放主机资源。但释放的核能否转成营收或利润,要结合需求、其他瓶颈、加速硬件与运维成本判断。原书转引的Xeon上64字节包、4核、9Mpps测试只说明那个测试条件下的开销,不是本轮实测,也不能直接外推到任意网卡、带宽或处理器。

查看卡片与原书出处

软硬件融合 (黄朝波 著) · 软硬件融合综述

指令复杂度与灵活性

用CPU指令组合完成的处理,也可以在加速器接口中封装为一次较大的任务。这是原书用“指令复杂度”描述处理粒度的出发点;接口粒度较大通常减少调用者的自由组合空间。但不同ISA或设备命令并不是同一种工作单位,不能把CPU、GPU、FPGA、ASIC排成对所有负载都成立的性能全序,也不能由一条命令推出一周期延迟。

查看卡片与原书出处

软硬件融合 (黄朝波 著) · 软硬件融合综述

处理器性能三维度

比较硬件方案可以分别观察一次处理覆盖的工作、时钟频率,以及可同时推进多少处理。这三个观察维度彼此影响,并非独立旋钮;关键路径限制频率,资源、依赖及通信又限制并行效果。流水线深度、CPU核数或跨平台IPC不能直接当作应用吞吐量,必须先统一工作单位,再结合实际数据路径评价。

查看卡片与原书出处

软硬件融合 (黄朝波 著) · 软硬件融合综述

FPGA以频率换灵活

FPGA与ASIC可以实现相同的目标逻辑,但器件结构、开发和制造方式不同。FPGA用可配置逻辑及互连保留重配置能力,ASIC把选定电路实现固定下来;在相同工艺、相近功能等比较条件下,可配置结构通常要付出面积、频率或能耗代价。这里是有条件的实现取舍,不意味着两者是同一器件,也不保证任意ASIC都快于任意FPGA方案。

查看卡片与原书出处

软硬件融合 (黄朝波 著) · 软硬件融合综述

加速模块也有管理接口

在本书的软件管理加速模块中,驱动和控制程序需要初始化、配置并启动硬件,硬件承担的任务不会使这些管理职责消失。这里不能推广成一切硬件逻辑都必须依赖软件。领域专用架构强调面向某类工作保留合适的可编程性;本节按ASIC可编程化举例,后文也讨论FPGA实现,因此不能把DSA概念等同于某一种器件或据标签判断图灵完备性。

查看卡片与原书出处

软硬件融合 (黄朝波 著) · 软硬件接口

东西向流量与RDMA

在短距离、频繁的数据中心通信中,网络传播时间缩短后,协议处理、复制与模式切换可能更显著。RDMA以注册内存、网卡数据路径及异步请求/完成减少这些开销,并未消灭全部处理延迟,也不免除连接、权限和资源管理。东西向与南北向描述流量方向,不能仅凭方向推定距离或瓶颈;应看具体路径和负载。

查看卡片与原书出处

软硬件融合 (黄朝波 著) · 算法加速和任务卸载

加速卸载异构三层

原书把算法加速、任务卸载和异构计算区分为三种实现形态:算法加速将核心计算放入专用模块,任务卸载把较完整职责迁到另一系统并维护服务交互,异构计算提供面向一类负载的可编程处理器及平台环境。它们可能组合,而不是所有产品必须依次经历的升级路线;“主机看不到”指内部实现被接口封装,不等于主机不能配置、管理或观察结果。

查看卡片与原书出处

软硬件融合 (黄朝波 著) · 算法加速和任务卸载

QAT只挑高价值环节卸载

原书QAT的IPsec案例把较重的加解密运算交给硬件,把SA查找、封装解封装等留在软件;这展示按计算代价、复杂度和交互成本分配职责的部分卸载。结论只针对该案例,不概括全部QAT型号或后来能力。卸载并非全有全无,[[按稳定程度划分硬件]]也说明按工作特征划定边界的思路。

查看卡片与原书出处

软硬件融合 (黄朝波 著) · 算法加速和任务卸载

通用平台挤压加速器

定制加速器的比较对象也在演进:CPU可加入专用扩展指令,GPU可通过运行时、库与工具改善某类负载。评估定制硬件时,除当前核心吞吐外,还要考虑数据交互、开发成本、规模和可替代平台,不能把CPU/GPU当作性能不变的基线。原书没有提供“几年必追上”的预测模型,不据此猜固定投资回收期。

查看卡片与原书出处

软硬件融合 (黄朝波 著) · 异构加速

DSA五个减负原则

原书转引DSA的五个原则:让计算靠近所需数据、将更多资源用于计算和片内存储、暴露领域自然的并行性、采用满足精度要求的较窄数据、用领域编程抽象支持迁移。它们是在已知负载下分配资源的取舍,不是去掉通用开销就必然获得全部收益;精度、软件工具、同步和领域变化仍有成本。

查看卡片与原书出处

软硬件融合 (黄朝波 著) · 异构加速

CPU通用性带来额外成本

通用CPU为未知负载提供取指、译码、缓存与控制能力,这些机制消耗资源和能量;已知领域可通过数据复用、专用计算和更合适存储减少其中部分开销。原书90nm下的pJ值描述一次操作的历史能量示例,不是当前所有CPU的功耗分解,也不证明CPU在所有任务都能效较差或缓存始终有害。

查看卡片与原书出处

软硬件融合 (黄朝波 著) · 异构加速

推理成本需累计调用

训练形成模型权重,推理在既定权重上处理新输入;训练一次可能较重,单次推理较轻,但部署期反复调用会累积。总推理开销需由单次计算成本、调用次数及运行周期估算,才能与训练、再训练等总成本比较;用户数乘调用频率只是调用率,缺少时间和单位成本时不能直接称总算力。

查看卡片与原书出处

软硬件融合 (黄朝波 著) · 异构加速

异构计算性能的三重制约

异构加速的整体收益受可加速部分的原耗时占比、主机与设备数据交互开销,以及该部分实际加速比共同制约。其余工作、启动与搬运不能由更高峰值算力自动消除;可通过重排和重叠缓解部分等待,但应以完整任务完成时间衡量。原书三因素是性能分析框架,不表示所有程序只能串行分三段运行。

查看卡片与原书出处

软硬件融合 (黄朝波 著) · 云计算体系结构趋势

DPU重塑单元关系

原书以数据为中心的模型让DPU承担数据I/O与部分处理,使CPU、GPU等不必在所有数据路径中由CPU中转,从而更专注各自计算。它是对部分系统分工的重排,不说明传统拓扑绝无设备P2P、CPU彻底失去调度职责或所有设备性能地位相同。可联系[[转向以数据为核心]],同时区分数据路径与控制权限。

查看卡片与原书出处

软硬件融合 (黄朝波 著) · 云计算体系结构趋势

网卡到eIPU的演进

原书按问题范围梳理SmartNIC、DPU、IPU和eIPU:从网络卸载扩至存储/虚拟化、管理隔离,再提出硬件功能弹性。它是作者的架构演进解释,命名并非所有厂商一致的行业分级标准,也不表示每次改名就自动增加全部功能。判断产品应回到具体职责、接口与可更新范围。

查看卡片与原书出处

软硬件融合 (黄朝波 著) · 云计算体系结构趋势

集成架构的通用代价

CPU和加速器更紧密集成可能降低通信代价,但会改变成本、资源比例和适用范围。若某类负载不需要加速器,新增资源可能利用不足;若大量负载都适合,则集成也可有效。原书TPU/FPGA是解释例,不据此断言硬件被某软件框架永久绑死或集成总损害通用性。

查看卡片与原书出处

OpenStack设计与实现(第3版) · 虚拟化

硬件辅助虚拟化

让客户机直接使用真实设备能兼顾通用性和性能,但要解决两件事:客户机直接访问设备的I/O地址空间,设备DMA直接访问客户机内存。VT-x解决前者,VT-d用DMA重映射解决后者;SR-IOV让一块PCIe网卡为每个客户机复制内存空间、中断和DMA数据流,数据处理不再依赖VMM。高性能网络和GPU透传,本质都在处理隔离与直通的矛盾。

查看卡片与原书出处

OpenStack设计与实现(第3版) · 加速设备管理

Cyborg资源模型

Cyborg分层描述加速硬件:Device是物理板卡;Deployable是其提供资源的逻辑结构,一块FPGA可对应多个,GPU通常一个;Accelerator是逻辑加速资源;Attach Handle是挂载到虚拟机或容器的标识,如VF的BDF。同一硬件同时有物理、逻辑和可挂载三种身份,分层后才能分别计量和分配。

查看卡片与原书出处

OpenStack设计与实现(第3版) · 加速设备管理

加速器调度链

带加速器的虚拟机要穿过整条链:管理员在Cyborg创建device_profiles,Flavor引用它;Nova控制节点取回详情并入request_spec,向Placement选候选主机;计算节点向Cyborg创建并绑定加速请求(ARQ),Cyborg用外部事件告知结果;Libvirt驱动据ARQ生成设备XML启动虚拟机。任何一段缺失,硬件就用不上。

查看卡片与原书出处

万亿级流量转发 BFE核心技术与实现 2021 · HTTPS的优化

非对称计算取舍

非对称计算是HTTPS的主要开销:ECC性能远好于RSA,但因根证书兼容性,面向大量低端客户端时仍需RSA证书。这时可用RSA硬件加速:同机部署加速卡,或远程调用集中的加速服务,后者升级成本低,但可用性难达百分之百,所以远程调用出现偶发异常时要自动降级为本地计算。加速方案要同时评估性能、兼容和可用性。

查看卡片与原书出处

企业云计算:原理、架构与实践指南 2020 · 计算服务

裸金属补齐性能

虚拟机适合标准化、弹性的通用场景;裸金属服务器让租户独占整台物理机,没有虚拟层的性能损耗,同时保留云上的自助开通和运维托管,适合超算、大数据分析这类对计算性能、稳定性要求很高的场景。云计算服务不是一条路线,而是在抽象效率与贴近硬件之间提供多档选择。

查看卡片与原书出处

Software Architecture in Practice, 4th Edition · 未来一瞥:量子计算

量子处理器作为专用服务

量子计算并非把所有经典业务普遍加速。可把QPU看成由经典CPU提交输入并取回输出的专用服务,边界上传递经典比特,而内部用量子状态计算。架构首先要识别哪些算法可能受益,以及数据进出和控制的责任;普通事务系统未必相关。这里保留本章异构加速器类比,不把其硬件时间表视为当前承诺。

查看卡片与原书出处

软硬件融合 (黄朝波 著) · 算法加速和任务卸载

vDPA保留控制面退路

vDPA把设备控制路径与数据路径分工:控制保留软件参与,数据路径利用硬件加速。原书提出迁移时切回软件后端,以复用既有Virtio迁移机制;它是有条件的设计路径,不表示所有vDPA设备都能无条件回退或迁移。设备状态、脏页、接口和目标能力必须有相应支持,不能仅因使用标准Virtio驱动就保证迁移成功。

查看卡片与原书出处

软硬件融合 (黄朝波 著) · 算法加速和任务卸载

控制面与数据面职责不同

配置状态寄存器负责配置、启动、读取状态,数据面负责输入、处理与输出载荷。硬件模块可由软件控制而在数据面独立流水处理;CPU占用减少并不说明控制面消失。该区分也用于后文按任务不同部分决定留在主机、嵌入式软件或专用逻辑。

查看卡片与原书出处

软硬件融合 (黄朝波 著) · 算法加速和任务卸载

搬运计算与外部通信可分工

原书SoC示例中DMA搬运数据,加密模块处理数据,以太网模块连接外部网络。模块之间可组合,例如加密模块内含DMA,I/O模块也能做部分包处理;分类依据主要职责,不应把“负责网络”推成内部只有传输而完全没有计算。

查看卡片与原书出处

软硬件融合 (黄朝波 著) · 算法加速和任务卸载

加速器运行需要完整数据交接

软件先初始化并准备数据;无内置DMA时需把数据送到输入,有DMA时告知位置,再启动处理并取得输出。中断只在需要时通知后续处理。测量整体加速必须覆盖输入准备、搬运、启动、执行、输出和回收,而不只比较核心算法的时钟数。

查看卡片与原书出处

软硬件融合 (黄朝波 著) · 算法加速和任务卸载

任务卸载可只是迁移软件

任务可以全部在专用逻辑运行,也可由软件与逻辑协作,甚至只从主机CPU迁到板卡嵌入式CPU。后者仍是任务卸载,却没有直接把算法变成硬件电路。目标可能是释放业务主机资源或隔离管理,不保证单个任务本身处理更快。

查看卡片与原书出处

软硬件融合 (黄朝波 著) · 算法加速和任务卸载

密码原语须按安全目标区分

对称密码适于共享密钥下的大批量数据保密;公钥加密与数字签名是不同用途,签名是私钥生成、公钥验证,不能笼统称作私钥加密公钥解密,DSA也不是通用加密算法。普通哈希生成摘要,HMAC结合共享秘密提供消息认证。这里按NIST定义校正原文分类,仅解释原语,不据旧书推荐现行算法或密钥参数。

查看卡片与原书出处
辅助阅读:卢曼编号

按卢曼编号阅读

点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。

未编号或编号待整理

  • 新硬件逼重构 理解等级:未标注

    新型数据库系统原理、架构与实践 (金培权 编著赵旭剑 编著) · 挑战与展望

  • DMA专管搬运 理解等级:未标注

    计算机与嵌入式系统架构 · 微型计算机接口技术

来源书籍

来源书籍

软硬件融合 (黄朝波 著)

软硬件协同与硬件加速类

Skill 版本:v23

书籍类型:未标注

类别清单尚未核对

274 张卡片

主题索引

存储模型选型

比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。

699 张卡片 · 63 本书

主题索引

容量规划与资源调度

比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。

344 张卡片 · 74 本书

主题索引

认证与密码学基础

比较 HTTP 认证方案、OAuth2 与 JWT、会话状态,以及摘要、加密、签名、证书与 TLS 的密码学基础。

253 张卡片 · 58 本书

主题索引

单机高性能与I/O模型

比较进程/线程并发模型、I/O 多路复用、Reactor 与 Proactor 等单机高性能设计。

226 张卡片 · 46 本书

主题索引

虚拟化架构

比较全虚拟化、半虚拟化、硬件辅助虚拟化与纯软件模拟在隔离、性能与兼容性上的取舍,以及设备、内存与权限模型的设计。

204 张卡片 · 21 本书

主题索引

软硬件划分与融合

比较功能放在软件还是硬件的判断依据:灵活性与效率、迭代节奏、规模与成本、ASIC/FPGA 配比、接口设计与集成形态,以及软件定义硬件与软硬件融合的差异。

160 张卡片 · 6 本书