全部标签

Quantization

Quantization（量化）：把AI模型”压缩”进你的电脑

一个真实的故事： 2023年底，一个程序员想在自己MacBook上跑一个大模型。结果呢？模型太大，内存直接爆了。后来他听说了一个叫"量化"的技术，给模型瘦了个身——70B的大模型从140GB砍到4GB，居然真的跑起来了，虽然慢了点，但能用。这个"瘦身术"，就是Quantization（量化）。一句话理解量化（Quantization） = 把AI模型…
AI百科
- 701
- 0
jolly4小时前