块越大，推理越差？扩散语言模型的新难题被 T * 破解了

扩散语言模型想用更大的生成块换取更高并行度，却常常先丢掉数学推理，直接在大块模型上做强化训练甚至会出现训练崩塌 … 块越大，模型在一次前向中同时定稿多个 token 的空间越大 … 它从一个由自回归模型初始化、已经具备推理能力的小块扩散模型出发。

原文连接