大家好，我是 Ai 学习的老章
NVFP4一直是英伟达专属，前几天我也刚介绍：
英伟达出手，Qwen3.6-27B 量化版来了，褒贬不一
没想到大模型量化巨星 Unsloth 比英伟达还会玩，他们发布了全新的 Dynamic NVFP4 量化技术，直接让本地跑 Qwen3.6 的速度翻了 2.5 倍，而且精度几乎无损，就问你猛不猛吧
先说结论
如果你手上有一张 RTX 5090 或者 B200 这样的 Blackwell 架构 GPU，那这次的 NVFP4 量化绝对值得关注：
-
Qwen3.6-27B：跑在 24GB VRAM 里，速度比标准 NVFP4 快 2.5 倍 -
Qwen3.6-35B-A3B：高并发下在 B200 上飙到 17,561 tokens/s -
精度呢？MMLU-Pro、GPQA、AIME 2025 全线对齐 BF16 水平 -
附赠 FP8 KV Cache 校准，上下文长度直接翻倍
一句话总结：又快又准，还省显存
Qwen3.6 速览
先快速回顾一下 Qwen3.6 本身——这是阿里 4 月份发布的新一代混合思维多模态模型家族，包含两个版本：
英伟达出手，Qwen3.6-27B 量化版来了，褒贬不一
Claude Opus蒸馏Qwen3.6-27B，GGUF来了，消费级显卡轻松本地部署！
|
|
|
|
|---|---|---|
| Qwen3.6-27B |
|
|
| Qwen3.6-35B-A3B |
|
|
关键能力：
-
256K 原生上下文，YaRN 可扩展到 100 万 -
201 种语言支持 -
Agentic Coding：前端工作流和仓库级推理表现优异 -
Thinking Preservation：保留历史思维链，多轮对话更连贯 -
多模态：支持图片、视频理解
Qwen3.6-27B 在 SWE-bench Verified 上拿到 77.2 分，Terminal-Bench 2.0 上 59.3 分——这是跟 Claude 4.5 Opus 同档的成绩，就这么说吧，27B 的密集模型做到这个水平，确实离谱
Dynamic NVFP4 到底做了什么
这是整篇文章的重头戏，先解释一下为什么 Unsloth 的 NVFP4 比 NVIDIA 官方的 NVFP4 快这么多
核心差异：W4A4 vs W4A16
NVIDIA 官方的 NVFP4 量化方案是 W4A16——权重是 4-bit，但激活值（Activation）仍然是 16-bit，这意味着矩阵乘法时，GPU 需要把 4-bit 权重先反量化到 16-bit，再做计算
Unsloth 的方案是 W4A4——权重和激活值都压到 4-bit，直接利用 Blackwell 架构的 FP4 Tensor Core 做原生计算，少了反量化这一步，吞吐量直接起飞
下面这张图一目了然地展示了两种方案的核心区别：
动态层量化
“Dynamic” 不是随便起的名字，Unsloth 不是把所有层一刀切量到 4-bit，而是：
-
重要层保留更高精度——对模型输出影响大的层会被上采样 -
校准数据集精选——混合 Unsloth 自有数据集 + UltraChat，专门针对 编程、工具调用、对话 三个场景优化 -
Chat Template 改进——修复了编码和工具调用的一致性问题，减少循环和其他已知问题
这就是为什么精度能保住——不是暴力压缩，而是”该省省、该花花”
内置 MTP 加速
MTP（Multi-Token Prediction）是 Qwen3.6 的独门武器，可以一次预测多个 token，Unsloth 这次把 MTP 张量直接内置到 NVFP4 量化模型里，相当于开箱即用，不需要额外加载 MTP 模块
LM Studio 终于支持 MTP 了， Qwen3.6-35B 跑出 ~130 token 每秒
FP8 KV Cache 校准
另一个实用改进：通过 FP8 KV Cache 校准，上下文长度可以翻倍，对于 Agent 场景来说，更长的上下文意味着可以记住更多的对话历史和工具调用结果
性能跑分：说数据
吞吐量对比（1×B200，128 并发）
Unsloth 官方在 B200 上做了完整测试：
-
Qwen3.6-27B NVFP4：比 NVIDIA 官方 NVFP4 快 2.5 倍 -
Qwen3.6-35B-A3B NVFP4：1.56 倍提速（精准版） -
Qwen3.6-35B-A3B NVFP4-Fast：1.79 倍提速（全 W4A4 版本） -
高并发场景下，35B-A3B 可以飙到 17,561 tokens/s
解码速度（Decode Speed）方面：27B 提升 1.03 倍，35B-A3B 提升 1.17~1.22 倍
精度对比：几乎无损
这是最让人放心的部分——量化后精度跟 BF16 基本持平：
Qwen3.6-27B NVFP4 精度 Benchmark：
|
|
|
|
|
|---|---|---|---|
| Unsloth NVFP4 | 86.25 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Qwen3.6-35B-A3B NVFP4 精度 Benchmark：
|
|
|
|
|
|---|---|---|---|
| Unsloth NVFP4 | 85.85 |
|
|
| Unsloth Fast |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Unsloth 还特别检查了输出长度——NVFP4 量化后的模型并没有”思考更久”来弥补精度，所以加速是实打实的，不是靠多想来凑的
两个 35B-A3B 版本的选择
Unsloth 给 35B-A3B 出了两个版本：
|
|
|
|
|---|---|---|
| NVFP4
|
|
|
| NVFP4-Fast |
|
|
如果你跑 Agent 或者工具调用场景，建议用标准版；如果纯聊天或者对速度更敏感，Fast 版本更合适
硬件要求
这是最关键的限制——NVFP4 需要 Blackwell 架构 GPU：
-
✅ RTX 50 系列（5090、5080 等） -
✅ DGX Spark -
✅ B200 / B300 -
❌ RTX 40 系列及更早的卡不支持
如果你的 GPU 不是 Blackwell 架构，别急——Unsloth 的 Dynamic GGUF 量化同样优秀，配合 MTP 在旧卡上也能跑出不错的速度：
|
|
|
|
|
|
|
|---|---|---|---|---|---|
| 27B |
|
|
|
|
|
| 35B-A3B |
|
|
|
|
|
怎么跑起来
方案一：vLLM（推荐）
# 安装 vLLM
uv venv myenv --python 3.12
uv pip install --python myenv/bin/python
"vllm==0.24.0" "nvidia-cutlass-dsl==4.5.2" --torch-backend=auto
# 启动 27B NVFP4
vllm serve unsloth/Qwen3.6-27B-NVFP4
--speculative-config '{"method": "mtp", "num_speculative_tokens": 2}'
# 或者 35B-A3B Fast 版本
vllm serve unsloth/Qwen3.6-35B-A3B-NVFP4-Fast
--speculative-config '{"method": "mtp", "num_speculative_tokens": 2}'
方案二：SGLang
python -m sglang.launch_server
--model-path unsloth/Qwen3.6-27B-NVFP4
--speculative-algorithm NEXTN
--speculative-num-steps 3
--speculative-eagle-topk 1
--speculative-num-draft-tokens 4
方案三：Unsloth Studio（最简单）
给本地部署的大模型装上手脚，Unsloth 把MCP 这条路打通了
如果你不想折腾命令行，Unsloth Studio 提供了完整的 Web UI：
# 安装
curl -fsSL https://unsloth 。ai/install。sh | sh
# 启动
unsloth studio -p 8888
打开浏览器搜索 Qwen3.6，下载模型就能直接跑，Studio 会自动帮你设置最优的推理参数，包括 MTP 配置
部署为 API 服务
跑起来之后，可以直接用 OpenAI 兼容的 API 调用：
from openai import OpenAI
client = OpenAI(
base_url="http://127.0.0.1:8000/v1",
api_key="sk-no-key-required",
)
completion = client.chat.completions.create(
model="unsloth/Qwen3.6-27B-NVFP4",
messages=[{"role": "user", "content": "帮我写一个 Snake 游戏"}],
temperature=0.6,
top_p=0.95,
extra_body={"top_k": 20},
)
print(completion.choices[0].message.content)
这意味着你可以把它接入 Claude Code、Codex、或者任何支持 OpenAI API 的工具链
和其他方案的对比
|
|
|
|
|
|
|---|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
总结
Unsloth 这次的 Dynamic NVFP4 量化，核心创新就三个字：W4A4——把权重和激活值都压到 4-bit，直接用 Blackwell 的 FP4 Tensor Core 做原生计算，绕过了传统方案的反量化瓶颈
对于有 Blackwell GPU 的用户来说，这基本是目前跑 Qwen3.6 最快的方案，27B 模型只需要 24GB VRAM，精度还跟 BF16 齐平，对于还在用 40 系卡的同学，Unsloth 的 Dynamic GGUF + MTP 依然是最优选择
最后的最后，提醒一下：不要用 CUDA 13.2（会输出乱码），用 13.2 以下或者 13.3 版本