COLM 顶会上有三篇论文对 Transformer 的常规设计提出质疑。其中一篇来自图宾根大学的论文《When Fewer Layers Break More Chains》研究了层剪枝（直接删除 Transformer 的某些层以减少深度）对长链推理能力的影响。该论文采用”测试时扩展”方法，即让模型生成更多 token 或多次生成后选择正确答案，正常情况下这应提高正确率。三篇论文共同指向一个模式：它们都在挑战已被主流模型广泛采用、鲜少被质疑的常规设计。
COLM 顶会上有三篇论文对 Transformer 的常规设计提出质疑。其中一篇来自图宾根大学的论文《When Fewer Layers Break More Chains》研究了层剪枝（直接删除 Transformer 的某些层以减少深度）对长链推理能力的影响。该论文采用”测试时扩展”方法，即让模型生成更多 token 或多次生成后选择正确答案，正常情况下这应提高正确率。三篇论文共同指向一个模式：它们都在挑战已被主流模型广泛采用、鲜少被质疑的常规设计。