-
Gigatoken：一个斯坦福博士生把 BPE 分词器写到了 24.53 GB/s
2026 年 7 月 22 日，Hacker News 首页挂了一个 Rust 分词器，615 points，119 条评论。标题数字让人怀疑浏览器渲染错了：比 HuggingFace tokenizers 快 989 倍。 评论区没怎么撕数字真假，撕的是"这数字有用吗"。 一个典型的反对声音来自 Amdahl 定律：标准 GPU 推理里，tokenization 占不到 0.…- 1.2k
- 0
-
DeepSpec ：投机解码从论文到生产的最后一公里
投机解码的论文这两年堆成了山。Eagle、Medusa、DFlash、SpecForge——每篇都在说自己的草稿模型更快、接受率更高、加速比更漂亮。你把论文一页页翻过去，算法细节写得密密麻麻，但翻到附录找训练代码的时候，往往只有一句"we will release the code soon"。 这不是个别现象。投机解码领域有一个谁都不说的尴尬：推理阶段的加速逻辑已经被反复论证…- 876
- 0