兄弟们
我已经确信GLM5.2的诸多能力确实已经与Claude 旗舰模型不相上下了
刚刷到知名代码安全公司 Semgrep 发了一篇博客，标题直接叫「We have Mythos at Home」。他们用 IDOR（越权漏洞）检测基准，把 GLM-5.2、Claude Code、GPT-5.5 等一众模型拉出来跑了个遍
结果您猜怎么着？在完全没有任何外挂脚手架、只给一个 Prompt 的”裸跑”条件下，开源的 GLM-5.2 拿下了 39% 的 F1 分数，排名第三，仅次于 Semgrep 自家带完整 harness 的流水线（61% 和 53%），直接超越了 Claude Code（37%）和 Claude Opus 4.8（28%）
最关键的是成本——GLM-5.2 每发现一个漏洞只需要 0.17 美元，只有顶尖闭源模型的六分之一。Semgrep 的研究人员自己都说”genuinely shocked”
|
|
|
|
|
|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
GLM 5.2 | 纯 Prompt（无脚手架） | 39% |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
这说明什么？说明 GLM-5.2 已经是目前开源大模型里绝对的第一梯队
问题只剩一个——这货 753B 的参数量，谁部署得起？
今天英伟达给出了答案
GLM-5.2 到底有多猛
先花一分钟了解下为什么这么多人馋这个模型
GLM-5.2 是 ZAI（智谱）最新的旗舰模型，采用 MoE（混合专家）架构，总参数 753B，每个 token 激活 40B。MIT 协议开源，没有地域限制，商用、研究随便搞
它的几个核心卖点让同行压力山大：
-
1M token 实打实的长文本：这个 1M 不是花架子。ZAI 用了自研的 IndexShare 稀疏注意力机制，每 4 层共享一个 indexer，在 1M 上下文长度下把每 token 的 FLOPs 降低了 2.9 倍。长文本不掉智商，这是最难的 -
代码能力直追闭源天花板：SWE-bench Pro 62.1（Claude Opus 4.8 是 69.2，GPT-5.5 才 58.6）；Terminal Bench 2.1 得分 81.0，接近 Claude 的 85 分；FrontierSWE 74.4 分直接超过 GPT-5.5（72.6） -
推理能力炸裂：AIME 2026 数学竞赛 99.2 分，GPQA Diamond 博士级科学推理 91.2 分，属于开源模型里”别人还在追的时候你已经到了”的水平 -
MTP 推测解码优化：改进后的 MTP 层让推测解码的接受长度提升了 20%，实际使用时延迟会更低
看完这些跑分，你就明白为什么 Semgrep 的安全研究员会说”把 GLM-5.2 加进基准纯属好奇，结果出来后我们自己都震惊了”
痛点：753B 谁跑得起
然而现实很骨感
753B 的 MoE 模型，即使用 FP8 精度，部署一套也需要至少 8 张高端 GPU。对大多数团队来说这就是一道墙——模型再好，跑不起来等于零
这就是为什么英伟达这次出手意义重大
英伟达祭出 NVFP4：显存腰斩，性能不掉
6 月 25 日，英伟达在 Hugging Face 上悄悄上架了 nvidia/GLM-5.2-NVFP4
这个模型是英伟达用自家的 Model Optimizer（nvidia-modelopt v0.46.0）对 GLM-5.2 进行 NVFP4 量化后的产物。简单来说就是把权重和激活值从 FP8 压缩到 FP4，显存占用直接腰斩
量化策略很讲究——它只对 MoE 专家层里的 Transformer block 线性算子做量化，共享专家层（Shared Expert）完全保留原始精度。这种”该省省、该花花”的策略是精度损失极小的关键
来看看实际跑分对比，数据来自 NVIDIA 官方：
|
|
|
|
|
|
|
|---|---|---|---|---|---|
|
|
|
|
|
|
|
| NVFP4 | 89.39 | 49.04 | 75.81 | 70.13 | 98.25 |
看到没有？GPQA Diamond 这种博士级科学基准，从 89.52 到 89.39，差了 0.13，完全在误差范围内。更离谱的是 IFBench 和 τ²-Bench Telecom 两项，NVFP4 反而比 FP8 还高。压缩到一半精度还能涨分，这属于赚到了
部署实战：SGLang 和 vLLM 两条路
英伟达把部署体验也安排得明明白白，目前官方支持 SGLang 和 vLLM 两大推理框架
方案一：SGLang（官方推荐）
用最新的 SGLang 镜像 lmsysorg/sglang:latest，先把 transformers 升到 5.3.0 以上（GLM-5.2 的架构 GlmMoeDsaForCausalLM 是新的）：
pip install -U "transformers>=5.3.0" &&
python3 -m sglang.launch_server
--model nvidia/GLM-5.2-NVFP4
--tensor-parallel-size 8
--quantization modelopt_fp4
--tool-call-parser glm47
--reasoning-parser glm45
--trust-remote-code
--chunked-prefill-size 16384
--mem-fraction-static 0.80
方案二：vLLM
习惯用 vLLM 的朋友，直接拉 vllm/vllm-openai:v0.23.0 镜像：
vllm serve nvidia/GLM-5.2-NVFP4
--tensor-parallel-size 8
--enable-expert-parallel
--trust-remote-code
--reasoning-parser glm45
--tool-call-parser glm47
--enable-auto-tool-choice
--kv-cache-dtype fp8_e4m3
--host 0.0.0.0 --port 8000
注意几个要点：
-
--enable-expert-parallel是 MoE 模型的关键参数，打开专家并行 -
--kv-cache-dtype fp8_e4m3把 KV Cache 也压到 FP8，进一步省显存 -
--tool-call-parser glm47和--reasoning-parser glm45分别对应 GLM-5.2 的工具调用和推理格式
官方测试硬件是 B200 和 B300，也就是 Blackwell 架构的新卡。如果你手里有这些卡，NVFP4 的原生 FP4 计算单元会让吞吐量直接起飞
Model Optimizer：英伟达的”瘦身工厂”
下面这张图完整展示了从原始模型到量化部署的全流程：
顺便聊聊这次的幕后功臣——NVIDIA Model Optimizer
之前我介绍过多次
Qwen3.6-35B-A3B 英伟达出品的量化版姗姗来迟，二个字，稳妥
英伟达加速版 Qwen3.6-35B，双4090本地部署，性能实测
这个工具不是新东西了，之前 DeepSeek-R1、Llama 3.3 70B、Nemotron-3 Super 120B 的 NVFP4 量化版本全都是用它做的。英伟达从 2025 年 1 月开源了这个工具，到现在已经是一条成熟的量化流水线
它支持的优化技术矩阵相当豪华：
-
训练后量化（PTQ）：模型体积压缩 2-4 倍，推理直接加速 -
量化感知训练（QAT）：在量化基础上通过少量训练步骤进一步恢复精度 -
剪枝（Pruning）：直接砍掉不重要的权重，Domyn 用它把 355B 模型压到 260B -
蒸馏（Distillation）：用大模型教小模型，Bielik.AI 用它做出了小 33%、快 50%、精度保留 90% 的模型 -
推测解码：训练 draft 模块预测额外 token，降低推理延迟 -
稀疏化：只存储非零参数，进一步压缩
如果你想自己量化模型，安装非常简单：
pip install -U nvidia-modelopt[all]
量化后的模型可以直接部署到 SGLang、vLLM、TensorRT-LLM 等主流推理框架，完全无缝衔接
总结：开源部署的最优解
GLM-5.2 本身已经是开源大模型的巅峰之作
Semgrep 的安全基准测试证明了它在实战场景中甚至能打赢 Claude Code，而且成本只有后者的六分之一
英伟达这次用 NVFP4 量化把部署门槛压到了之前的一半。精度几乎无损，部分指标甚至反超。对于想要在本地部署 AI Agent、RAG 系统、或者需要 1M 超长文本能力的团队来说，这可能是目前性价比最高的方案
唯一的遗憾是对硬件还有要求——想充分发挥 NVFP4 的优势，最好用 Blackwell 架构的 B200/B300。但话说回来，Hopper 架构跑也不是不行，只是吃不到原生 FP4 算力的红利