专访DiffuSpace龚珊三：扩散语言模型正在挑战GPT式生成范式

Z Highlights

从左到右生成有两个很明显的缺点。第一个是生成速度可能很慢；第二个是它在生成过程中很容易陷入 local optimum。模型每一次只能看到下一个 token 应该生成什么，而这个 token 一旦生成，就没有办法再修改。
自回归模型从左到右的生成方式，其实只是扩散语言模型的一种子情况。换句话说，扩散语言模型是比自回归模型更 general、更泛化的一种形式。因为在扩散模型里，模型可以相对自由地选择解码顺序，而不是从一开始就被固定在唯一的从左到右顺序上。
扩散语言模型现在还没有完全起来，一个重要原因是，它所获得的资金投入和研究时间都还没有那么长。扩散语言模型已经获得了很多关注，大家也逐渐认可它是语言模型的一种。我觉得，它实际上已经有了自己的位置，接下来半年，我们会继续扩大它的能力和影响力，把更多研究优势转化成真实模型和产品。未来一到两年内，它很有可能替代现在的自回归模型。
自回归模型的 aha moment，是大家发现模型居然意识到自己写错了，再重新生成，但它没办法删除前文，只能碎碎念“不对，我要重新思考一下”，占用大量篇幅和上下文。扩散语言模型不一样，它生成了一些内容，意识到不对后，会直接把这些内容覆盖掉，你能看到它从全局最优角度去替换不合理的地方。同时，这对 inference efficiency 也是很大的利好。我们不需要为了纠正错误再占用那么长的 context。
Diffusion 在 inference 上获得的并行度、速度和灵活性，可能对应的代价就是 training 阶段需要投入更多 effort、更多 training FLOPs。不过，这也不完全是坏处。NUS 此前有一篇论文发现，在同一份数据上迭代 100 个 epoch 时，扩散模型不会过拟合，performance 还会持续上升，最终甚至超过 AR 模型。
扩散语言模型更贴近人类思考时的过程。人思考问题时，不一定会在心里把所有 token、所有单词都一个字一个字写下来。有时候，我们最开始只有一些模糊的想法或模糊的感受，然后这些想法慢慢成形、慢慢浮现，再一步步变得清晰。扩散模型呈现出来的正是类似的过程。
Efficiency 在任何时候都是被需要的。现在使用 GPT 一类模型时，用户可能需要等待一分钟；如果速度提升到十倍，就只需要等待十秒。一旦体验过这种快速响应的感觉，就很难再回到以前那种龟速思考的体验。
我们发现以扩散语言模型为 backbone，再连接机械臂的 action head，可以支持更长的 action chunk 输出；它的速度更快，一致性 consistency 也更好。这说明扩散语言模型的并行和全局建模优势，不只存在于纯文本生成中，也可以延伸到具身智能的 action 生成。

为什么在 2022 年押注 Diffusion？

ZF：我们先从扩散智能正在做的事情聊起。你们把 dLLM 看作一种可能取代 AR 的下一代语言模型范式，为什么团队早在 2022 年就开始押注 diffusion？当时看到了哪些可能性？从早期的范式探索，到 scaling、reasoning、多模态，再到最终成立公司，这条路径是怎样形成的？

珊三：可以，我按时间顺序介绍一下这个领域的发展，其中也会涉及我们的一系列工作。可以从 2022 年开始讲。当时扩散模型已经在图像生成领域得到了比较好的应用，Midjourney、Stable Diffusion 等工作也已经被大众看到。大家发现，这类模型确实非常 work，尤其是和此前的 GAN 或 VAE 相比效果非常明显。

我觉得扩散模型之所以 work，一个根本性的原因是，与 GAN 或 VAE 相比，它把同样的任务拆分成多个 diffusion step。相当于把一个很困难的问题 break down 成不同的 steps，每一次只需要解决其中的一个小步骤。这样一来，困难的问题就被简化了，模型的学习难度也降低了，所以它更容易、更方便地建模一个复杂的 distribution。这是我认为扩散模型本身能够成功、而且这条路线非常合理的根本原因。

当时扩散模型已经在图像领域取得了成功，我们就在想，它能不能在文本领域也有一个比较好的发展。其实在文本领域，以前也有人研究非自回归模型，也就是 non-autoregressive model，只不过那是当时一个比较小的研究方向。扩散模型实际上也提供了一条 non-autoregressive 的路线，因此我们开始尝试把它迁移到文本生成领域。

我们最初的主要思路，是先把文本映射到 embedding 空间，然后在这个空间里，用图像扩散模型的方式建模文本 embedding。发表在 ICLR 2023 的 DiffuSeq 这篇工作处理的是一个有 source input 和 target output 的任务，output 要在 input 的 condition 下生成。

这篇文章比较创新的一点是，此前的一些生成模型没有办法做这种 classifier-free guidance。我们可以直接把 source input 作为 condition，并通过 Transformer 的 self-attention 机制实现这个 condition。与当时很多 encoder-decoder，也就是编码和解码相互分离的设计相比，这是一个比较先进的设计。

从现在回头看，无论当前的自回归语言模型，还是我们的扩散语言模型，其实都建立在这样的基础上：整个 sequence 被放在一起建模，input 和 output 都位于同一个 sequence 中，而 output sequence 是 condition 在 input sequence 的基础之上的。这个设计现在看起来很自然，但在当时是一个比较重要的变化。

完成这项工作后，我们发现扩散语言模型有非常多的优势。首先，它生成的内容非常 diverse；其次，它很有可能进行并行生成，从而达到更快的速度；此外，它也非常容易被控制。这些都是我们做完第一篇工作后就已经意识到的优势。

在 decoding 过程中，整个 sequence 是一起生成的，而且中间有很多 diffusion time step。我们可以随时操作某一个中间结果。比如，我想把某些 token 替换掉或改写掉，就可以直接在生成过程中进行替换和改写。之后，模型后续的生成还能 condition 在这次修改之上，继续生成新的内容。整个生成过程是非常 flexible 的。

在第一篇文章的基础上，我们还做了一些加速研究，发表了DiffuSeq-v2。之后我开始读博，研究也从最早的范式探索，逐步走向 scaling 和更复杂的 reasoning。

读博期间有几项比较重要的工作。首先，我们很早就意识到模型必须 scaling。时间点也非常巧：我们在 2022 年发表了第一篇 DiffuSeq之后，2022 年底 ChatGPT 出现，到了 2023 年，Llama、Llama 2 等 open-source language model 也开始出现。我们也意识到，语言模型不可能不做 scaling，必须 scale 上去，才能拥有 emergent ability 等各种能力。

所以，我们可以说是最早开始研究扩散语言模型 scaling 的团队之一。那个时候，大部分学术研究仍然停留在 GPT-2 级别的小模型上，参数规模可能只有几百 million。学术界通常会先在小模型上验证想法，但如果我们相信它是一种真正的语言模型范式，就不能永远停留在这个规模。

我们很早就意识到要做 7B 模型。那时 7B 的自回归模型已经出现，但学术界资源比较有限，要做这种大规模 scaling，需要非常多的卡。我们最后采用的是从 AR 模型做 adaptation 的路线，并发表了 DiffuLLaMA 相关论文。

DiffuLLaMA & DiffuGPT

这项工作大幅缩减了 training 的开销，让 scaling diffusion 这件事变得非常 affordable，也是我们最早做到 7B 规模的工作。在这篇工作的基础上，我们又增加了非常多工程和技术上的 effort，推出 Dream 7B以及后续一系列模型，使其达到与当时 AR 模型 comparable 的水平。Dream系列模型后来也被大家广泛使用。对我们来说这一步很重要，因为它证明扩散语言模型不只能够在小模型和论文实验中 work，也有机会真正走向大规模语言模型。

回到 2023 年，还有一件很重要的事。Scaling 这篇论文的研究周期其实比较长，因为过程中遇到了 continuous diffusion 的问题。最开始，我使用 continuous diffusion model 做 text generation，这很自然，因为图像领域最早就是这样做的。但在 scaling 的路上，我们发现 continuous space 很容易在训练时坍缩，训练非常困难。

后来，包括我们 Lab 的佳成、郑琳等同学，也开始研究 discrete diffusion，我们陆续发表了几篇 discrete diffusion 论文。那个时候我逐渐意识到，相比 continuous diffusion，discrete diffusion 是一种更适合离散文本建模的方式。因此，在 scaling 项目里，我们最开始探索 continuous diffusion，之后转向 discrete diffusion 的 scaling，最后取得了比较成功的效果，相当于把这条路线真正走通了。

当时 CoT 在自回归模型里也刚出现不久。对于自回归模型来说，不管是生成普通内容，还是生成 CoT 内容，都需要一个 token 接一个 token 地从左向右生成。现在大家已经非常熟悉这个范式，但在当时，它其实还是一个出现没有多久的新范式。

我们发现，从左到右生成有两个很明显的缺点。第一个是生成速度可能很慢；第二个是它在生成过程中很容易陷入 local optimum。模型每一次只能看到下一个 token 应该生成什么，而这个 token 一旦生成，就没有办法再修改。

举例来说，在一个很局部的范围里，比如只看接下来四个 token，模型可能认为当前选择是最优解；但继续生成 20 个 token 后，它可能发现自己已经走到了一个并不理想的方向。这个时候，它也没有机会回去修改之前的选择。这样就会产生误差累积的效果：只要 CoT 或思维链中某一步出现错误，后面就很难再挽救。这是当时自回归 CoT 一个非常明显的缺点。

我们当时认为 diffusion 的一个很大优势，就是它能够进行全局、双向建模。在建模整个 CoT sequence 时，它既能看到开头说了什么，也能看到结尾说了什么。在中间生成的过程中，如果出现了一些错误内容，它可以直接修改中间的 token，再继续后面的生成。这是一种非常好的 feature。所以，我们在 DoT 论文中专门探索了怎样使用 diffusion model 做 CoT。它不是在已经生成完一条错误路径后，再用更多文字解释自己为什么错了，而是在生成的过程里直接调整这条路径。

这项工作比 scaling 论文还要早，所以当时我们仍然是在小模型上实验。我们使用了 SEDD 模型，这个模型当年还获得了 Best Paper，以及当时Plaid 1B 模型作为基础。它们分别代表了 discrete diffusion 和 continuous diffusion 两条路线。

我们在这两个模型基础上进行 diffusion fine-tune，最后发现，它们都能够超过当时同级别 AR 模型 fine-tune 的结果。例如在 GSM8K 任务上，结果就比当时的 AR 模型更好。这件事进一步 inspire 了我们，让我们认为一定要做 scaling。既然小模型上的扩散模型已经可以完成 CoT reasoning，并在同级别比较中表现更好，那么 scaling 之后，它也应该能够处理更加复杂的 CoT reasoning，并取得更好的结果。

在这些工作之后，我们开始做 Dream 7B。我之前在苹果西雅图实习，实习期间，我做了一项在 7B 模型规模上进一步探索扩散模型究竟擅长什么的研究，同时也做了扩散语言模型的 RL，也就是强化学习。对于数学推理这样的 task，扩散模型其实也会尝试呈现一种从左到右推理的趋势。但它的优势是，除了从左到右之外，还可以发现一些特殊的解码顺序，以及能够并行的顺序。

也是在这项工作中，我意识到，自回归模型从左到右的生成方式，其实只是扩散语言模型的一种子情况。换句话说，扩散语言模型是比自回归模型更 general、更泛化的一种形式。因为在扩散模型里，模型可以相对自由地选择解码顺序，而不是从一开始就被固定在唯一的从左到右顺序上。

数学推理存在比较明确的前后因果依赖。在某些解码环节，模型必须先把前面的内容推理出来，然后才能推理后续内容。在这种情况下，扩散模型的生成也会尊重相应的顺序和逻辑，它不会为了“不是从左到右”而刻意打乱必要的因果关系。

但对于 coding 等任务，生成顺序就会更 random，更不拘泥于从左到右。这其实非常符合我们的直觉，也符合人类写代码的习惯。我们写代码时，有时会先写后面的函数，再写前面的函数；在同一个函数里，也可能先把 return 写出来，因为这部分很简单，然后再补中间真正复杂的实现。人类本来也不是始终按照文件里的字符顺序完成代码的。

代码是一种半结构化数据。在解码时，它本身就有很多结构依赖：有左括号就一定要有右括号，有左花括号就一定要有右花括号，这些结构必须相互匹配。

在这种比较结构化的数据上，我们发现扩散模型很喜欢先把结构框架搭起来。它可能先生成一些确定的结构，或者先把 return 的内容写出来，最后再去生成最核心、最重要的代码实现。它倾向于选择一种更合理、也更符合语义的解码顺序。这种顺序既很有趣，也非常合理，而且与现在 AR 模型只能从左到右的解码方式非常不同。

这项工作还引入了一些比较创新的 RL、GRPO 算法。这里我不详细展开，但核心是：针对扩散语言模型，我们也可以做 GRPO 这类 RL 算法，进一步提高模型性能。对于 code 或 math 这类有明确 verifier 和 reward 信号的任务，我们都可以使用 RL。也就是说，强化学习并不是自回归模型独有的训练手段，扩散语言模型同样有适合自己的实现方式。

最近我们 Lab 还发表了一篇使用扩散语言模型处理复杂 reasoning 的论文DreamReasoner 8B。AIME、LiveCodeBench 都属于比较困难的 task，需要相对较长的 reasoning。我们最近发布的模型，在这些任务上与当时表现较好的 Qwen3 8B 模型取得了很接近的结果；在 LiveCodeBench 上，部分表现甚至比 Qwen3 8B 更好。这进一步说明，扩散语言模型并不是只能做并行生成或简单任务，也可以处理需要长推理链条的复杂任务。

总结整个发展流程，我们最开始是在一个非常前沿的方向上探索，先做小模型实验。在探索过程中，我们逐步发现扩散语言模型的各种优势，也积累了越来越多 evidence。这些 evidence 让我们相信，这种模型有机会取代自回归模型，成为下一代语言模型范式。

因此，我们开始一步步推动这件事的 scaling。这里的 scaling 不只是模型 size 的 scaling，也包括团队的 scaling、人力的 scaling。我们希望把更多人聚集起来，大家齐心协力，把这件事做得更大、更好。对我们而言，公司也是把研究从少数人的前沿探索推向更大规模的一种方式。

如果把这条研究脉络串起来，从早期范式探索、discrete diffusion，到 reasoning、scaling、7B 模型和 RL，我们在 community 中都走得比较靠前，很多工作也可以说是开创性的。从这个领域后来的发展也能看出来，大家非常关注并 follow 我们的一些研究路线。所以我们后面还是希望把这件事做得更大、更好。

专访DiffuSpace龚珊三：扩散语言模型正在挑战GPT式生成范式

自回归是 Diffusion 的子集

ZF：如果 diffusion 是一种更 general、能力也更全面的生成范式，为什么现在仍然是 AR 模型拥有更多应用、用户和市场关注？限制 diffusion 发展的主要因素是什么？你判断它什么时候可能迎来类似 ChatGPT 时刻的扩散时刻？

珊三：扩散语言模型现在还没有完全起来，一个重要原因是，它所获得的资金投入和研究时间都还没有那么长。其实 ChatGPT 出现之前，相关团队也已经做了很多年的研究。任何一条技术路线从学术探索走向大规模应用，都需要一个过程，不太可能跳过积累阶段。

但在此刻，扩散语言模型已经获得了很多关注，大家也逐渐认可它是语言模型的一种。我觉得，它实际上已经有了自己的位置，并不是完全没有起来。接下来半年，我们会继续扩大它的能力和影响力，把更多研究优势转化成真实模型和产品。未来一到两年内，它很有可能替代现在的自回归模型。当然，这个目标很激进，也确实还有很多事情要做。

ZF：为什么你认为扩散模型可能代表下一代模型，或者具备比 AR 模型更高的智能上限？如果把时间拉长到三到五年，它在 diversity、全局搜索、并行推理和 planning 上的特点，可能怎样转化为实际的能力优势？对于 AGI、RSI 或 AI for Science 这类需要开放探索的问题，它真正独特的价值是什么？

珊三：更长远的展望，是追求更高的智能上限，例如突破人类的一些认知边界，走向 AGI、ASI。这个故事当然有很多公司都在讲，尤其是一些比较有理想、比较有追求的 Lab，大家都有追求 AGI、ASI 的梦想和情怀。我们当然也不例外。长期来看，扩散语言模型比较擅长全局搜索，也比较擅长多样性探索。这两件事对 RSI 都是比较有利的。

当我们要探索一个未知问题时，肯定要尽可能把探索的路线铺开，所以 diversity 非常重要。模型生成的结果越 diverse，就越有可能在很多不同路线里找到一个正确的 solution。只要我们有一个好的 verifier，就可以验证这些 solution 究竟是不是对的。换句话说，只要把探索 scope 扩得足够大，再配合可靠的验证机制，就更有可能找到真正正确的答案。扩散模型天然擅长生成多样化的候选，这一点对未知问题尤其重要。

另一个优势是全局性。在查找、生成和搜索时，我们常常有一个比较长远的 goal。扩散模型不是只依据已经生成的过去内容来决定下一步，也可以在未来可能生成的 context 基础上反过来生成当前内容，因此它更能够 look into future。

在全局 planning 上，它可以规划我们应该先做什么、后做什么。人在规划接下来这一步时，也一定需要考虑最终目标和最后几个步骤是什么。如果只看到眼前一步，很容易走到局部最优；但如果能够把未来步骤一并纳入考虑，就可能得到更好的 planning。扩散模型通过这种全局、综合的考虑，有机会形成更强的规划能力。

扩散模型非常擅长这类任务。已经验证的是数独、countdown、国际象棋这些任务。在相同模型规模、相同数据条件下，它的表现可以比自回归模型好很多。当然，也有人会说，这些 task 毕竟太 toy，只能算 prototype 或原型。这个评价也有道理，但即使任务比较 toy，它仍然能在一定程度上反映模型的 capability，证明模型确实具备这样的全局搜索和规划能力。

In the long run，我们仍然认为扩散语言模型在 RSI 的研究和探索中能够作出更高效的 contribution，并加速整个进程。

ZF：过去几年，dLLM 也经历了 scaling、CoT 和 RL 等与自回归（AR）模型相似的发展阶段。这些只是所有语言模型都必须经过的基础路径，还是说明 dLLM 仍在被 AR 的发展方式所引领？真正属于 diffusion、且 AR 难以复制的技术路线是什么？

珊三：首先，我不完全认为我们是在 follow 自回归模型。Autoregressive model 和 diffusion language model 都是语言模型，甚至可以说，自回归语言模型是扩散语言模型的一个子类。既然两者都是语言模型，那么语言模型需要做的基础工作是共通的，那就是语言模型必须依赖 scaling，也必须依赖 RL。

我们当然会探索自回归语言模型没有、而扩散语言模型独有的技术路线和 scaling 方式。之所以看起来像是在 follow，是因为 scaling、CoT、RL 这些事情本身就是把语言模型做好的必经之路。在这条路上，我们确实借用了语言模型发展 community 的很多 contribution，这是整个领域共同积累下来的基础。

但在这个基础之上，我们认为扩散语言模型可以做到一些自回归模型做不到的事情，而且能把这些事情做得更好。这才是两条路线真正产生差异的地方。未来，我们会重点投入自回归模型做不到的方向。以 CoT reasoning 为例，扩散模型不依赖从左到右生成。我们也不认为这个世界上的各种任务都必须从左到右执行。

因此，我们会着重在 parallel generation，也就是并行生成，以及并行 thinking、并行 reasoning 上发力。对于复杂 reasoning，我们也会探索怎样不依赖从左到右的方式去完成。在这些方向上，扩散模型才有机会真正突破现有语言模型范式的限制。

ZF：你们选择 diffusion 的一个重要原因，是它具有相对完整的数学和物理基础。真正开始研究扩散语言模型后，你发现它与最初的想象一样吗？面对大语言模型又是一个高度依赖实验结果的领域，对于扩散智能来说，你们如何平衡理论上的完备性与实际的 empirical performance？

珊三：这个问题有点像理论分析和实验科学的结合。大语言模型其实更偏向一种实验性的科学，模型最终的 performance 会在很大程度上影响我们对它的判断；但理论又一直是不可缺少的一部分。甚至可以说，这也是包括我自己在内，我们做科研时所坚持的一个原则。

我们会先从 first principle 出发，要求一条技术路线在理论上是完备、合理的，是一个比较 optimal 的选择。在这个基础上，再把各种理论落回现实和实践，从 practical、empirical 的角度把它真正实现出来。

很多 researcher 做研究时，也都会从 first principle 出发，先通过 intuition 感受一个东西是否能够 work。如果一个方向能够 work，背后往往会有一些根本的、原理性的东西作为基础。也正是因为有这些理论基础，它才能延伸出很多 practical 的研究方向，并且最终在实践中真正 work。所以我认为，理论指导和实践操作缺一不可。我们现在基本上就是沿着两者结合的道路进行探索。

ZF：对于 diffusion 特有，而不是从 AR 迁移而来的训练方法，你们现在已经有哪些方向性的想法？我们大概什么时候能看到新的技术成果或模型？

珊三：我觉得半年内我们会发布一些好的模型，同时也会跟进比较前沿的科研工作。一年内，我们会进行更大的 scaling，推出更大的模型。模型会在端侧部署、并行工具调用等方向上展现出其优势，也会用更快的生成速度给用户以直观感受。

专访DiffuSpace龚珊三：扩散语言模型正在挑战GPT式生成范式

不必「重新思考一下」：可改写、可并行的生成

ZF：现在的自回归模型在 CoT 中也会出现类似 “不对，等等，让我重新思考” 的 aha moment。你怎么看这种现象？你认为这种线性纠错与 diffusion 直接修改中间生成内容，本质区别是什么？后者会怎样改变推理效率和用户体验？

珊三：自回归模型的这种做法，相当于通过一种线性的方式，去尝试修改以前失败的内容。它之所以需要这样做，是因为已经生成的 token 没有办法直接撤回，所以只能继续往后写。从这个意义上说，这种范式是为了解决自回归模型本身的缺陷而打的一个补丁。扩散语言模型则天然具备修改已有内容的能力和特性。

对自回归模型来说，所谓的 aha moment，就是大家发现模型居然可以意识到自己写错了，然后重新生成，看起来已经聪明到了这个程度。但它没有办法真的把前面的内容删掉，只能继续在这张白纸上往后写：“不对，我之前说得不对，我要重新思考一下。”这种感觉很像自言自语或碎碎念，而且会占用大量篇幅和上下文。

扩散语言模型不一样。你可以观察它的中间生成过程，它先生成了一些内容，随后意识到不对，会直接把这些内容覆盖掉。用户能够看到它把一些不合理的地方替换掉，然后继续完成生成。整个替换过程是非常全局的。它会从全局最优化的角度考虑，不是只看刚刚生成的几个 token，而是结合前后内容，去优化整个思考过程。

同时，这对 inference efficiency 也是很大的利好。我们不需要为了纠正错误再占用那么长的 context。Thinking 和 reasoning 已经在 diffusion 的多次迭代中实现了，不需要再通过更长、耗时更久的 CoT，把错误路径和修正过程全部写出来。它可以用更短、更 efficient 的方式完成同一件事。

ZF：dLLM 可以并行生成，但仍然需要多轮去噪。你们会用什么去证明它相对 AR 的真实速度优势，比如单用户延迟、TPF、高并发吞吐，还是完整任务成本？目前这种优势主要体现在哪些任务和部署场景中？

珊三：不同测试环境是不一样的。不过，我们可以讨论扩散模型更有优势的场景。一个很典型的场景就是写代码。

代码场景没有那么 autoregressive，其中存在很多可以并行的机会。比如两个函数可能是相对独立的模块，可以分别生成；函数里的很多结构又具有很高的复用度。你定义一个函数时，一般都要写 define、空格、括号等固定结构。这些结构对扩散模型来说非常容易预测，因此模型不必每一次 forward 都只解码一个 token。

我们把一次 forward 能解码的 token 数量叫作 TPF，也就是 token per forward。这个值在 coding 任务中通常比 math 更高。当然，不同应用、不同具体 task 之间会有一些 variance，但只要是 coding 类别，TPF 基本可以达到 7 到 10，也就是一次 forward 能够解码 7 到 10 个 token。

自回归模型一次 forward 通常只能向前推进一个 token，而我们一次 forward 能多解码很多 token。这件事会直接带来比较大的速度提升。Coding 之所以是扩散模型特别有优势的方向，就是因为它同时具有可并行的模块和高度可预测的结构。

成本方面，可以这样理解：当推理速度变快后，单位时间内能够 serve 的用户就更多。比如过去处理一个用户的问题需要 20 分钟，现在变快以后只需要 2 分钟，同样的资源就能处理更多请求，成本自然会大幅降低。这件事其实比较直观，速度上的提升会直接转化为服务效率和单位成本的改善。

还要补充一点，与自回归模型相比，扩散模型的推理加速优势在 batch size 等于 1 时最大。这件事非常利好端侧模型部署。因为端侧模型推理时只服务 local 的一个用户，相当于 batch size 等于 1。端侧用户又会对推理速度非常敏感，希望模型能够比较快、比较及时地给出响应。因此，端侧场景也是我们非常重视、并且认为扩散语言模型很有优势的一个场景。

ZF：你多次提到，dLLM 与同期 AR 模型的能力相当，在部分任务上甚至更好。这里的相当或超过应该怎样判断？为什么不能只看 perplexity，而还应该看数学、coding、Agent、多模态和 VLA 等 downstream task 的表现？

珊三：最直接的就是看 downstream task 上的 performance。这里我想插入一点自己的看法：一两年前，甚至到现在，这个 research domain 里很多论文仍然主要比较 PPL，也就是 perplexity。我一直都非常不赞成只看这件事。

Perplexity 再低，也不一定能反映到 downstream task performance 上。只看这个指标，很多实际问题都说明不了。现在很多论文可能受制于资源，没有办法做完整的 downstream task 测试，也没有办法真正研究 downstream task 和 scaling 之间的关系。但从评价模型能力的角度，我仍然不赞成把 perplexity 当成最核心的结论。

在 DiffuLLaMA 那篇论文中，我基本上也是最早提出要直接看 downstream task 表现、通过下游任务性能来比较扩散模型和 AR 模型能力差距的人之一。

具体包括哪些方向？就是用户真正需要、大家真正关心的方向。例如数学、coding、Agent，也包括各种各样、不局限于语言模型本身的任务，还可能包括多模态或 VLA 等。可以说，现在语言模型能够做哪些 task，我们都会关注扩散模型在这些 task 上的能力表现。

当然，我们也会继续比较和衡量哪些 task 是扩散语言模型更擅长的，哪些 task 上它具有更明显的优势。之后，我们会优先强化这些方向，并结合相应的 task 开发应用。

ZF：关于训练，我有两个问题。首先，你们现阶段会 leverage 成熟 AR 模型的参数，再继续训练成 dLLM。长期来看，最强的 diffusion 模型更可能来自 AR 模型转换，还是从头进行 diffusion 预训练？前者会不会把 left-to-right bias 一并继承下来？其次，从训练效率看，dLLM 需要在同一份数据上训练更多轮次，却能在 inference 阶段获得更高并行度。你们如何衡量这种额外 training FLOPs 是否值得？可以和我们简单分享下吗？

珊三：我可以先介绍这个领域比较公认的一些观察和结论，其中既包括我们的研究，也包括其他团队的论文。例如，NUS 就做过一些相关研究。

大家比较公认的一种说法是，diffusion model 是 training for the worst， but testing for the best。在 training 的时候，它可能需要见到更多样的 noise 情况。这意味着模型需要看到更多数据的 combination，也意味着它需要在同一条数据上训练更多次。相比之下，自回归模型的训练目标和顺序更加固定。

但这样做的优势是，在同一条数据上训练更多次后，模型会学会处理更多不同噪声和位置组合。到了 inference 和 test 阶段，它就可以获得更高的并行度。也就是说，我们在训练阶段付出更多 effort，是为了在 inference 阶段享受更大的好处。

一个模型只需要 training 一次，但为了 serve 各种各样的用户，inference 会发生很多次。训练成本只发生在模型开发阶段，而推理成本会随着每一次用户调用不断发生。因此，overall 来看，用更多训练换取更高效的推理，这件事是划算的。

当然，天下没有免费的午餐。一个范式有好处，就一定会付出某种代价。Diffusion 在 inference 上获得的并行度、速度和灵活性，可能对应的代价就是 training 阶段需要投入更多 effort、更多 training FLOPs。不过，这也不完全是坏处。NUS 此前有一篇论文发现，在同一份数据上迭代 100 个 epoch 时，扩散模型不会过拟合，performance 还会持续上升，最终甚至超过 AR 模型。

但 AR 模型在同样的数据上训练 100 个 epoch，很容易过拟合，performance 也会很快收敛，不再继续上升。也就是说，扩散模型虽然需要在同一条数据上看更多次，但它也能够从这些重复迭代中持续获益。因此，在数据比较受限的情况下，扩散模型反而可能非常有优势。

至于训练所需总数据量到底能少多少，这个问题比较 empirical。大家很难真正做足够多的超大规模实验，把一个统一比例算出来。不同 model size 的 scaling 情况也可能不同，因此很难给出一个确切数字。

可以举一个比较直观的例子：AR 在一份数据上训练一个 epoch，而 diffusion 在同样的数据上训练十个 epoch，这是完全可能的；到第十个 epoch 时，diffusion 可能已经超过 AR 模型。但这个十倍只是说明这种现象和趋势，不是一个适用于所有模型规模的固定比例。

另一方面，尽管 diffusion 可能需要更多 training effort，但我们现在也有 adaptation 技术，可以直接利用已有模型，并在一定程度上克服额外算力开销。因此，对现阶段的我们来说，扩散语言模型的 scaling 是一件开销可控的事。

以后，我们是否要付出更多 training FLOPs，真正 train from scratch，以换取更高的智能上限，是更长期才需要考虑的问题。这需要更多实验和新的发现来说明，额外训练投入究竟能够换来多少新的能力，以及什么时候值得彻底从头训练。

我一直说，自回归模型是扩散模型的一个子集，因此直接 leverage 自回归模型已有的权重，我觉得没有什么不好。AR 模型已经学习到的语言知识和能力，本来就是可以被更 general 的模型继承的。在这些权重基础上，我们会在扩散模型训练中引入更多双向、全局的信息。也就是说，我们不是简单复制一个 AR 模型，而是利用已有能力，再加入扩散模型特有的 feature。

ZF：如果 AR 是 diffusion 的一个子类，最终表现最好的方案不是纯 diffusion，而是复用 KV Cache、AR 权重或部分自回归生成顺序的 hybrid 架构，公司会接受吗？你觉得这意味着未来这两种技术路线是怎样的包含或交叉关系？

珊三：这取决于如何定义交叉。既然我们认为 AR 是 diffusion 的一部分，那么其实也就不存在所谓交叉或不交叉的问题。我们用 diffusion 的方式生成时，一定程度上本来就可以包含 AR 的生成模式。它不是两条完全并列、彼此排斥的路线。

我们肯定会始终是一家 diffusion 公司，这一点不会改变。我们最终追求的是更 general 的生成范式，而不是为了保持某种纯粹性，拒绝使用所有来自 AR 路线的有效技术。

至于具体技术实现，例如为了达到更 efficient 的效果，我们可能会复用 KV cache，也会复用 AR 模型里一些好的设计和好的基建。这些技术已经被验证有效，没有必要因为它们最早在 AR 模型里使用，就刻意回避。我觉得这不能完全叫作两条路线的交叉。更准确地说，是把现在的 AR 进一步泛化，做成一个比 AR 更 general、更泛化的模型。两者是包含关系，而不是并列关系。

ZF：ICML 的相关研究提出，confidence-based decoding 会优先生成容易确定的 token，却可能绕开真正决定推理方向的高熵分叉点。而在一些任务中，最简单的 left-to-right 顺序反而更可靠。你怎样看待他们的实验现象和结论？你会认为这是解码算法的问题还是 dLLM 架构本身的限制？

珊三：在我之前提到的 DiffuCoder 相关论文中，我们也观察过解码顺序的现象。两项工作的观察可能是相互独立的，不一定完全矛盾。我们的结果表明，模型确实可以拥有更加 flexible 的 decoding order，而这件事本身对模型来说并不是坏事。能否自由选择顺序，原本就是扩散语言模型的重要优势之一。

他们的结论是在 LLaDA 和 Dream 模型上得出的。他们观察到，使用从左到右的 decoding order，会比使用 diffusion 自己选择的 order 解码更好。我有一个不一样的观察，在我训练得更充分的 DiffuCoder base model 上，不会出现 AR decoding order 比 diffusion decoding order 更好的情况。对一个训练得足够充分的扩散模型来说，模型自己选择的解码顺序可以优于固定的从左到右顺序。

我的观点是，在训练充分的模型上，diffusion model 可以对 confidence score 做出比较合理的判断。它能够选择一种不完全遵循自回归顺序、但最终 performance 更好的 decoding order。我在自己的模型上确实观察到了这一点，所以我可以确认这种情况是存在的。

我对他们实验现象的一种解释是，所使用的模型可能训练得还不够充分，以至于 confidence score 不能准确反映真实数据分布。当 score 本身不够准确时，从左到右这种带有 inductive bias 的先验顺序，反而可能暂时表现得更好，并掩盖模型自由解码的潜力。但这不等于说，扩散模型天然必须依赖从左到右解码，也不等于更灵活的 decoding order 本身会损害模型。

ZF：相较 AR 已经成熟的训练、推理和产品生态，你认为 dLLM 当前最大的短板是什么？算子、infra 和推理系统等基础设施的不完善，会在多大程度上限制模型能力和商业化？

珊三：我觉得挑战是方方面面的。要做成一件事，特别是当很多人都在做同一件事、而你又希望把它真正做大做好的时候，肯定不是一件容易的事。所以很难只挑出一个唯一的最大挑战。从模型、数据、算力到工程和生态，各方面都会遇到问题。我们现在是在逐一克服这些挑战，各方面也都处于稳步推进的状态。

例如，AR 目前的生态已经非常完善。无论开源领域还是商业领域，都有很多人在共同 contribution。FlashAttention、linear attention 等算子，以及其他大量基础设施，都有整个 community 的很多参与者共同贡献。

对于扩散语言模型来说，有些算子的实现，以及很多 infra 层面的实现，生态支持还没有那么完善。这些事情不能等着别人全部做好，需要我们自己去做。因为我们一直相当于在引领这个领域，所以很多基础工作肯定要亲自完成。要把这些事情慢慢做扎实，需要投入时间和工程资源。

即使不谈扩散语言模型，单纯训练语言模型本身就存在各种各样的挑战，包括模型训练、数据和各类 infra。扩散语言模型又需要在这些共性挑战之外，补齐自己特有的基础设施。

不过，一个比较 positive 的变化是，进入这个领域的人正在变多。我们不是孤军奋战，已经出现很多开源项目，大家都在为这个领域 contribution。做这件事的人越多，整个社区就会越好，生态也会一步步完善。所以我仍然觉得这条路线非常有希望。它是可行、可实行、可落地的。我们现在要做的，就是把眼前的挑战一项项解决，一步一步向最终目标前进。

专访DiffuSpace龚珊三：扩散语言模型正在挑战GPT式生成范式

一旦快过十倍，就很难再回去

ZF：AR 模型一个字一个字输出的方式，天然适合现在的对话产品，而 diffusion 的生成过程则更像模糊想法逐步成形，并且可以持续修改。你认为这种技术差异会带来怎样的新交互方式或产品形态？它什么时候可能在以 AR 为主的市场中建立自己的生态位？

珊三：我觉得它会一步步取得自己的生态位，占据越来越大的市场。这个过程不会在某一天突然完成，而是能力、服务和产品逐步落地的结果。这个趋势其实已经非常明显。

从 2025 年来看，扩散语言模型在科研领域进入了论文大爆发的阶段。到了今年，包括我们在内的团队都在做 scaling，相当于进一步把这件事从学术界和论文理论上的优势，一步步落实到实践中。我们要把它真正落实为语言模型服务，用来实现更高智能的 serving，满足各种各样的需求。这既包括 daily 的日常需求，也包括更长远的需求，例如 RSI。

从产品侧来说，我们一方面要持续不断地迭代，另一方面也要不断发掘新的用户需求。我可以分两层来讲：第一层比较贴近当前，是未来半年内可能直接被用户感受到的变化；第二层更长远，可能是三到五年的事情。

在第一层，我们现在使用的 AR 产品很适合让用户观察模型一个字一个字往外吐。但扩散模型也非常适合把它的 reasoning 过程呈现给用户。用户可以观察到它的思绪怎样一步步扩散、形成。这个过程和用户的交互可能同样很强，甚至更强。

我觉得它更贴近人在思考时的过程。人思考问题时，不一定会在心里把所有 token、所有单词都一个字一个字写下来。有时候，我们最开始只有一些模糊的想法或模糊的感受，然后这些想法慢慢成形、慢慢浮现，再一步步变得清晰。扩散模型呈现出来的正是类似的过程。因此，用户不仅可以接受这种思考过程，甚至可能会觉得它更自然、更贴近自己的思维方式。

另一个重要方面是生成速度，这更偏向用户体验。Efficiency 在任何时候都是被需要的。现在使用 GPT 一类模型时，用户可能需要等待一分钟；如果速度提升到十倍，就只需要等待十秒。一旦体验过这种快速响应的感觉，就很难再回到以前那种龟速思考的体验。

因此，从用户或产品角度看，速度优势非常巨大。现在，我们的扩散语言模型已经被证明生成速度比自回归模型更快。至少对我们来说，在响应延迟和推理速度这一块，我们肯定可以在各种语言模型类型中占据属于自己的生态位。

ZF：你们的核心仍然是扩散语言模型，但已经发布了 Dream VL 和 Dream VLA。把视觉信息和 action head 接入 dLLM 后，diffusion 体现出了哪些优势？这些工作验证了扩散模型怎样的应用潜力？

珊三：如果给模型加入视觉信息，它就不再完全是一个纯语言模型了。当然，现在很多所谓的语言模型也会支持 image input，所以更准确地说，这是在语言模型 backbone 上加入视觉能力。这是另外一件事情，也是我们以后会继续做的方向。

在发布 Dream 7B 后，我们又在去年年底、今年年初发布了 Dream VL，也就是 visual language model。它是一个以扩散语言模型为 backbone 的视觉语言模型。我们同时还发布了 Dream VLA，VLA 是 visual language action model，可以连接机械臂操作，让模型执行一些 action。我们此前已经发布了这两个模型的 technical report。

我们发现，以扩散语言模型为 backbone，再连接机械臂的 action head，可以支持更长的 action chunk 输出；它的速度更快，一致性 consistency 也更好。这说明扩散语言模型的并行和全局建模优势，不只存在于纯文本生成中，也可以延伸到具身智能的 action 生成。因此，这也是我们会重点考虑的应用场景。

ZF：如果现在只能展示一个最能代表扩散智能、也能让普通用户立刻理解 diffusion 优势的 Demo，你会展示什么？在这个场景里，用户真正感受到的 aha moment 是什么？

珊三：我可能会选择一个大家都比较熟悉的 coding agent 场景。使用 coding agent 时，用户已经和模型进行了多轮对话，后来突然发现，自己在前几轮对话里说错了。此时，模型已经沿着用户错误的思路，生成了很多新的内容。

用户当然可以编辑前面的那轮对话，再重新发送给模型。但在自回归模型中，整个对话相当于从编辑位置分叉了。编辑位置之后已经写出的那些内容，用户就不能继续继承和利用了。因为模型只能继承修改之前的 prefix，再从那里重新向后生成。

扩散模型不会这样。在交互过程中，用户编辑了某一轮对话后，模型会自动顺势调整后面的对话内容。它不会把后续已经产生的全部谈话都浪费掉，而是针对用户这次修改或反悔，自适应地对后面的内容进行修改和编辑。

从 efficiency 的角度看，它没有浪费后面的 context，也不需要从中间断掉的位置重新生成所有内容。它会尽量保留仍然有用的部分，只修改那些因为前提变化而需要调整的内容。从用户体验的角度看，用户也会直观感受到这个模型更加可编辑、更加灵活，也更加聪明。我觉得这个 demo 能非常清楚地展示扩散模型和自回归模型的区别，整个体验会更好。

ZF：Inception 已经开始重点拓展实时语音方向。你怎么看 dLLM 在语音上的机会？从语音、文本之间的共同 representation，到 byte-level LLM 这类绕开模态差异的建模方式，dLLM 未来有可能走向 all-in-one 吗？

珊三：我觉得这个方向很有趣，也比较适合扩散语言模型发展。我们暂时还没有布局，主要是因为此前团队做语音比较少，所以当前没有优先做这件事。未来随着团队和人力进一步 scale、相关 skill 补充上来，我们可能也会布局语音方向。它确实是一个比较好的方向。

语音是连续信号。现在很多语音任务和图像生成一样，处理的都是连续信号，而这本来就是扩散模型非常擅长的领域。可以说，目前很多语音生成模型基本上也直接使用扩散模型，并且能够获得最好的效果。因此，Inception 做这方面的探索非常自然，也毫不意外。

这里面一个比较有趣、也值得继续探索的点，是语音信号和文本信号的融合。对我们来说，语音和文本所承载的内容、信息和知识其实非常接近：一个是把内容说出来，一个是把内容写下来。只要最终能够理解，它们所包含的信息量可以说是一样的。

但两者的呈现形式却非常不一样，在计算机里的表现形式也完全不同。语音是连续信号，由频率等信息组成；文本则是离散信号，要先被 tokenize，变成 token，再转换成 word embedding 后进行建模。它们的建模方式非常不同，保存形式也非常不同，但它们所表达的可能是很类似的东西。

扩散语言模型可以作为一个桥梁，帮助我们探索两类信号之间的关系和关联。说不定我们可以找到一种比较通用的 representation 来表示这些内容。既然语音和文本包含的信息量相同，那么在高维空间里，它们的 representation 理论上也应该可以是相通的。

但现在很显然，大家使用不同的方法去 modeling 不同模态。怎样完成这种跨模态的 alignment，我觉得是一件非常有意思的事情。扩散模型可能可以作为桥梁，把这两个模态连接起来，再围绕它们之间的共同表示做更多研究。

这也让我想到我们Lab的另一项工作：byte-level LLM。孔老师的组一直比较倾向于探索新的语言建模范式，所以在我们主页上可以看到一个 byte-level LLM 模型。

它直接从字节层面建模，不使用任何 encoder，也不再先判断输入属于什么模态。我们只关心信息在计算机里是怎样以 bit、byte 的形式存储，然后直接用这种方式进行建模。它相当于试图绕过不同模态各自的人为表示，从更底层的计算机存储形式出发。这也很有意思，不过是另一个话题了。

ZF：接下来聊一些更偏商业的问题。diffusion model 相较 AR 模型有不少天然优势，包括速度、成本、可控性和全局规划能力。你觉得这些优势中，哪些最容易被普通用户直接感受到，也最适合用来打开用户市场、让大家开始使用一种新的模型或产品？

珊三：最直接的还是速度，因为用户会对速度非常敏感。其次是速度提升所带来的成本下降，用户对成本同样很敏感。这些都是能够被用户直接感受到的特性，也都是非常适合作为产品切入点的优势。

再往远处看，是智能上限的提升。追求更高的智能上限，可能是模型研究本身的目标，也是出于对人类整体发展的考虑。但不一定所有用户都会直接关心这件事，很多人更多还是关心自己的生活，以及模型能不能解决眼前的问题。

现在的语言模型已经非常聪明，很多日常场景都能够 cover。对这些日常场景来说，模型是否在更高层面接近 AGI，用户可能没有那么强的感知；但如果响应更快、价格更低，他们会非常直接地感受到。所以仅仅速度优势，就已经很有吸引力。

对于更难、更开放、更具探索性的问题，扩散模型也可能会带来一些新的突破。模型能力的提升最终还是会推动科技进步，而科技进步一定会惠及每个人。也就是说，即使普通用户并不直接关心智能上限这个概念，模型能力的上升和突破，最终还是会通过产品、服务和技术进步普及到每一个用户。

ZF：对普通用户而言，底层使用 AR 还是 diffusion 并不重要。一个已经习惯 ChatGPT、Claude 及其 workflow 的用户，为什么要选择你们的产品？你认为速度和成本或其他优势需要扩大到什么程度，才能克服用户惯性、获得比较大的赢面？

珊三：我觉得只要有一些领先优势，就已经会有用户使用。虽然我们现在说速度可以提升很多，但可能只要快两三倍，甚至都不需要快这么多，就已经足以吸引不少用户。因为整个用户池非常大，大家总会寻找自己喜欢、用起来舒服的模型。不同用户的 preference 也不一样。用户并不会因为已经用过某一个产品，就永远不再尝试新的产品。

比如 OpenAI 的 GPT 最早出来，积累了很多用户；但 Anthropic 出现以后，依然吸引了很多用户离开 OpenAI，转而使用 Claude。这说明，只要产品在某个维度上有更强的优势，或者更符合某一类用户的偏好，总会有人愿意用。再比如，市面上已经有很多编程助手，各大厂都有自己的产品。用户可能因为某一款产品界面更好看、UI 设计更人性化，就选择使用它。这种选择甚至与模型本身的能力没有那么大的关系。

所以，如果从产品侧考虑，这是一个涉及很多维度的问题，并不完全由模型能力决定。产品设计、交互方式、用户习惯、品牌和具体使用体验，都会影响用户最终选择哪一款产品。

但如果只从技术判断来说，只要我们的模型能够领先，在速度上领先、在 performance 上领先，就一定能够吸引用户。甚至不一定每个维度都全面领先，只要产品有一些明确的亮点就可以。比如，它的 reasoning 思路与其他模型不同，思考过程的呈现方式不同，或者最终展示给用户的内容不同，用户就可能因为觉得更有趣、更有意思而愿意使用。我认为这些都有可能成为新的产品吸引力。

ZF：你们从 2022 年开始持续投入 discrete diffusion，并陆续推进 CoT、scaling、RL 和多模态等方向。如此早期的投入，为扩散智能积累了哪些技术、人才或工程壁垒？现在 Google、蚂蚁集团、大厂团队以及 Inception 等创业公司都开始研究 dLLM，哪些积累是后来者最难在短时间内复制的？

珊三：有更多大厂和公司来做这件事，恰恰说明扩散语言模型是一条成功、非常有希望的路径。我认为这是非常值得欢迎的。整个领域参与者变多，也会让基础设施和社区发展得更快。与此同时，凭借我们的技术能力和创新能力，我觉得我们能够把这件事做得非常好。

ZF：前面谈了扩散智能的技术路线、产品和商业判断，接下来回到你个人。你是怎样从一个喜欢数学和物理的学生，一步步进入孔老师的团队、开始研究扩散语言模型，并最终成为扩散智能联合创始人的？

珊三：我从中学起就一直非常喜欢数学，数学成绩也一直很好。我很喜欢数学或物理公式里的美感，这可能算是后来选择研究方向的一个铺垫。我本科和硕士都在上海交通大学就读，硕士期间开始接触科研。那时我相当于把整个科研流程完整地走了一遍，一方面想看看自己究竟适不适合做科研，另一方面也确实对科研抱有一种很憧憬的想法。

硕士毕业时，我同时面对大厂算法工程师岗位和上海 AI Lab 的研究岗位。在大厂做算法工程师和继续做 research 之间，我几乎没有太多犹豫，就选择了上海 AI Lab。当时孔老师正好在那里组建一个新的 NLP 团队，我也是机缘巧合参加了面试，之后加入了这个团队。

加入团队后，在许多 research topic 里，我比较喜欢也比较看好 diffusion model 这个研究方向。它和我硕士期间研究的领域完全不同，但我觉得这个领域非常有意思，也非常有挑战性。扩散语言模型里面有很多数学推导，而扩散这个概念本身又来自物理学中的热力学，这些特点都很吸引我。所以从 2022 年开始，我就在上海 AI Lab 做相关研究。

当时我们发表了第一篇扩散语言模型论文，现在已经有七八百次引用。那篇论文发出来后，很快就获得了一些关注和转载。那个时候，至少我自己还不太会宣传自己的工作，所以它受到关注和欢迎完全是一个自发的过程，也让我有些受宠若惊。对研究者来说，一个很大的 reward 就是自己的工作受到别人的认可。第一篇扩散模型工作就获得了很多关注和认可，给了我很大的 reward 和 motivation。我更加确信这个领域非常有趣，想继续研究下去。

后来孔老师邀请我去香港大学读博。虽然我也拿到了一些美国学校的phd offer，但因为我和孔老师合作得非常愉快，所以最后还是决定加入香港大学孔老师的团队，继续和他一起工作。

现在我的博士第三年刚结束，马上进入最后一年。过去三年里，我相当于见证了扩散语言模型整个领域的发展：它一步步被更多人研究，我们团队也在这个过程中贡献了非常多的内容。甚至可以说，我们是在引领这个领域的发展。当然，这个领域能够发展起来，也离不开整个学术 community 里其他研究者的贡献。

到了 2025 年，扩散语言模型领域出现了爆发式增长，论文数量翻了很多倍。我们团队也推出了 Dream 7B 模型，获得了非常好的反响。我们觉得，这是一个非常好的时机可以开启自己的公司。因此，我个人经历的发展、这个学术领域的发展，以及我们想要创立公司，整个过程其实是相辅相成的，也比较顺其自然。

快问快答

ZF：你以前有过创业想法吗，还是走到这里后恰好遇到合适的时机，就决定创业？

珊三：以前没有，是恰好走到这里，顺其自然。

ZF：做这个选择前纠结过吗？

珊三：没有怎么纠结过，使命召唤。

ZF：从 researcher 到联合创始人，你现在怎样理解 research、模型产品和创业之间的关系？

珊三：创业和 research 走得很近，不能说是完全分开的。我们有同学在做学术研究，包括我自己也在研究和探索。这不只是我们公司的情况。大家之前说 neo lab，我觉得这是一种新的形态，那就是科学研究与创业、产业走得非常近。主要还是因为语言模型的能力太强。Serving 语言模型本身就是产品，而语言模型的更新、迭代和创新又与科学研究、探索息息相关，彼此耦合很深，不可能完全分开。我现在相当于全职在公司，同时也在 lead 很多 research 工作。

ZF：我们大概还要等多久，能看到第一个让用户真正眼前一亮的 dLLM 产品？你们会先发布通用基模，再从 coding 等垂直场景切入产品，还是直接做一个通用 Agent？

珊三：大家很快就会看到我们发布模型。至于产品，我觉得半年到一年内会有。早期我们会先发布通用模型，但产品侧会更加垂直一些。

ZF：你们对公司下一阶段的发展有什么展望？是否会设定明确的时间和数字目标，还是现阶段更重要的是先把模型、产品和团队的事情做好？

珊三：扩散模型正在接近Scaling时刻。今年四季度，我们将发布新一款扩散语言模型。明年我们计划将模型参数规模再扩大1个数量级。

ZF：同赛道有没有你看好的其他公司，可能成为你们最大的竞争对手或友商？

珊三：目前感觉暂时还没有，可能以后会有。

ZF：你们最初为什么选择自己创业，而不是与资源更丰富的大公司合作，或者直接加入一家大公司完成这件事？成立自己的公司以后，训练、部署等资源问题会不会成为比较难解决的限制？

珊三：大公司有好处，也有坏处，团队资源如何分配也是一个问题。成立自己的公司后，大家也会更齐心协力，我觉得这样更好。部署资源可以通过一些合作解决，或者采取类似 Kimi 的一些模式，我觉得不是什么问题。目前训练资源比较充足，对我们现在的 scale 来说没有问题。当然，后续我们还希望继续 scaling，也会继续融资。

ZF：公司为什么叫 DiffuSpace？Space 除了扩散的空间，是否也意味着公司未来会从语言模型自然延伸到世界模型？

珊三：Space 就是空间，也有扩散的空间这种感觉。我们会先专注语言模型，而世界模型则是一个顺其自然的路线。

请注意，此次访谈内容已经过精心编辑，并得到了扩散智能的认可。我们也欢迎读者通过留言互动，分享您对本访谈的看法。

本文由作者@Z Finance，授权发布于平台，未经许可禁止转载。