中金 | CPU:推理时代地位重塑

2)在推理侧主要有三个领域:a) 推理 Host CPU,配合 GPU 进行任务调度和利用率优化等,甚至执行简单推理任务,形成对 GPU 的替代作用 … 2)在推理侧主要有三个领域:a) 推理 Host CPU,配合 GPU 进行任务调度和利用率优化等,甚至执行简单推理任务,形成对 GPU 的替代作用 … 从第一章对 CPU 需求的视角出发可以看出,过去 AI 服务器中 CPU 在配比的数量、核数等多个方面都已经无法满足需求,为保持系统整体的高吞吐量,服务器架构需要显著提升 CPU 的核心数和缓存性能,导致 CPU 在整体算力采购成本中的占比提高。

原文连接