原始 scaling law 因为一个 bug 而错了，大概率害得业界在一堆”体量过大、训练不足”的模型上，白白烧掉了海量算力 … 当 bug 被撕开，我们看到的，不仅是算力的黑洞，更是一条被语言本身重塑的、远比想象中更深刻的智能边界 … 2020 年，OpenAI 给出结论：在固定的算力预算下，你应该优先把模型做大，而不是拿更多数据去喂它。
原始 scaling law 因为一个 bug 而错了，大概率害得业界在一堆”体量过大、训练不足”的模型上，白白烧掉了海量算力 … 当 bug 被撕开，我们看到的，不仅是算力的黑洞，更是一条被语言本身重塑的、远比想象中更深刻的智能边界 … 2020 年，OpenAI 给出结论：在固定的算力预算下，你应该优先把模型做大，而不是拿更多数据去喂它。