全部标签

BPE tokenizer

Gigatoken：一个斯坦福博士生把 BPE 分词器写到了 24.53 GB/s

2026 年 7 月 22 日，Hacker News 首页挂了一个 Rust 分词器，615 points，119 条评论。标题数字让人怀疑浏览器渲染错了：比 HuggingFace tokenizers 快 989 倍。评论区没怎么撕数字真假，撕的是"这数字有用吗"。一个典型的反对声音来自 Amdahl 定律：标准 GPU 推理里，tokenization 占不到 0.…
开源项目
- 1.2k
- 0
半岛铁箱16小时前