卡帕西点赞 Transformer 内置计算机!每秒 3 万 Token 吞吐,拿下世界最难数独

卡帕西点赞的解决方法来了, ** 在大模型内部构建一台原生计算机 ** … 每生成一个 Token,模型都要对全量历史序列进行注意力扫描,计算代价随序列长度线性增长,让长轨迹的精确计算不可行 … 在数独求解过程中,针对仅有 21 个提示数的 Arto Inkala 数独,模型内部执行了一个完全正确的、编译后的数独求解器。

原文连接

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧