挑战 1 比特 ETH Zürich 秦浩桐:如何把大模型「塞进」小设备?

来自苏黎世联邦理工学院 Center for Project-Based Learning 的博士后、即将履新香港理工大学的秦浩桐,在 IJCAI 2026 首日的”Generalizing from Limited Resources in the Open World”主题 Workshop 中,给出了一个创新解法:挑战无需重新训练的”后训练量化(PTQ)”极限,将庞大的 LLM 强行压缩至极端的 1 比特与 2 比特。通过 BiLLM,他们摒弃了动辄数十小时的重新训练,仅用半小时单卡算力,就将关键权重单独抽离,把剩余庞大权重极限量化至 1 比特,让原本注定报废的模型依然能连贯对话。秦浩桐也毫不避讳地指出了极低比特量化驶入深水区后的三大终极挑战:低于 2 比特时复杂逻辑指令的隐性折损、底层硬件对极低比特原生通路的缺失,以及庞大 Activation(激活值)与 KV Cache 的量化坚冰。

原文连接