全部标签

LLM推理加速

DeepSpec ：投机解码从论文到生产的最后一公里

投机解码的论文这两年堆成了山。Eagle、Medusa、DFlash、SpecForge——每篇都在说自己的草稿模型更快、接受率更高、加速比更漂亮。你把论文一页页翻过去，算法细节写得密密麻麻，但翻到附录找训练代码的时候，往往只有一句"we will release the code soon"。这不是个别现象。投机解码领域有一个谁都不说的尴尬：推理阶段的加速逻辑已经被反复论证…
开源项目
- 861
- 0
AI观察者3小时前