训练和推理都需要更多 GPU，模型参数和用户数量增长后，答案仍然是增加 GPU。GPU 仍负责最重的模型计算，而解析模型输出、判断工具类型、发起请求、运行程序、管理文件、收集结果和安排下一轮任务等工作，通常由 CPU 处理。当 CPU 核心数不足，分词线程还会与任务调度和 GPU 内核启动争抢资源，导致 CPU 满载、而 GPU 未能跑满。
训练和推理都需要更多 GPU，模型参数和用户数量增长后，答案仍然是增加 GPU。GPU 仍负责最重的模型计算，而解析模型输出、判断工具类型、发起请求、运行程序、管理文件、收集结果和安排下一轮任务等工作，通常由 CPU 处理。当 CPU 核心数不足，分词线程还会与任务调度和 GPU 内核启动争抢资源，导致 CPU 满载、而 GPU 未能跑满。