OpenAI 砍了个寂寞

The Information 扔了一篇文章，标题挺唬人的：OpenAI 工程师找到办法，推理成本直接砍一半。 我认真读了一遍，核心意思就一个： OpenAI 的工程团队这个月跟同事透了底，推理成本降了超过一半。 怎么降的？没换新芯片，没搞架构革命；纯软件层面的事，把现有服务器的利用率给拧上去了。最有意思的是用在哪，ChatGPT 未登录用户的流量。 优化完之后，几百个 NVIDIA GPU 就搞定了，几百个。你品一品这个数。 ChatGPT 每天几亿人在用；光没登录那批访客，搁以前也得堆一堆算力来伺候，现在几百个 GPU 够了。