三个信号值得关注：推理成本三层同压——芯片、模型、调度同一周都有公司在让推理更便宜，已经用出规模的只有一颗专用芯片。芯片层有三家：墨芯做数据中心用的 AI 推理芯片和计算卡，思路是”稀疏计算”，把模型里对结果影响很小的大量数值跳过不算，用更少的算力跑同一个模型，目前和电信运营商、地方算力中心合作部署推理集群；后摩做”存算一体”芯片，让数据不用在存储和计算单元之间来回搬运，主打在电脑、智能终端、机器人等设备上直接跑大模型，联想的 AI 电脑已采用。
三个信号值得关注：推理成本三层同压——芯片、模型、调度同一周都有公司在让推理更便宜，已经用出规模的只有一颗专用芯片。芯片层有三家：墨芯做数据中心用的 AI 推理芯片和计算卡，思路是”稀疏计算”，把模型里对结果影响很小的大量数值跳过不算，用更少的算力跑同一个模型，目前和电信运营商、地方算力中心合作部署推理集群；后摩做”存算一体”芯片，让数据不用在存储和计算单元之间来回搬运，主打在电脑、智能终端、机器人等设备上直接跑大模型，联想的 AI 电脑已采用。