当年 12 月底,我们在智源研究院的支持下训练出了国内第一个中文大模型,只有 20 亿参数,现在大家管这叫轻量化模型,但在当时是实打实的大模型。到第四代模型时,我们研发出模型风洞技术,做了一个小规模验证版本,效果特别好:2024 年初,Meta 的 Llama 8B、Mistral 的 8B 达到的效果,我们用一个 2B 模型就能达到。端和云并非对抗的状态,它是真实世界的某种划分:有些事在纯数字世界里完成,有些事发生在虚拟与现实的边界上,在这个边界上,需要端侧的模型去感知世界、给世界反馈。
当年 12 月底,我们在智源研究院的支持下训练出了国内第一个中文大模型,只有 20 亿参数,现在大家管这叫轻量化模型,但在当时是实打实的大模型。到第四代模型时,我们研发出模型风洞技术,做了一个小规模验证版本,效果特别好:2024 年初,Meta 的 Llama 8B、Mistral 的 8B 达到的效果,我们用一个 2B 模型就能达到。端和云并非对抗的状态,它是真实世界的某种划分:有些事在纯数字世界里完成,有些事发生在虚拟与现实的边界上,在这个边界上,需要端侧的模型去感知世界、给世界反馈。