大家好，我是 Ai 学习的老章
老黄这波真是把餐桌掀翻了，不是发新卡，也不是发新模型，而是把训练 Agent 用的数据集一口气全端出来了，量大管饱，全部商用友好
先给个数字压压场：Nemotron 预训练数据合集加起来超过 10 万亿 tokens、5300 万条区域化合成人设、覆盖 24 亿人口，还配一整套 Apache 2.0 的合成数据生成管道 NeMo Data Designer
模型权重开源大家都在卷，真正的护城河已经开始转向数据，谁把训 Agent 需要的那些「脏活累活数据」开源出来，谁就掌握了下一波生态
为啥说 Agent 是数据问题，不是权重问题
NVIDIA 这篇博客一上来就抛了个观点，我个人非常认同：
❝
一个从坏掉的 API 调用中恢复不过来、遇到没见过的 workflow 就懵的 Agent，不是真正的 Agent，只是一个带工具的 autocompleter
从「带工具的补全」升级到「真正能干活的 Agent」，卡点全在数据上：软件工程 trace、工具调用失败样本、多步推理、检索、安全、用户模拟、workflow 执行……这些数据的稀缺程度远比模型权重高
一句话总结：权重决定 Agent 长什么样，数据决定 Agent 能不能干活
而且 Agent 的行为必须可审计——它调了什么工具、执行了什么 workflow、检索了什么信息，开发者要能追溯到训练它的那批数据里，开源数据不只是情怀，是让 Agent 行为「可解释」的前提
这也是为啥 NVIDIA 这波要把 Nemotron 数据家族全放出来，专门服务 Agent 训练
先用一张图梳理 Nemotron 这次 all-in 的数据家族 —— 三大板块摞在一起，才是完整的「Data for Agents」：
Nemotron-CC-v2：把 Common Crawl 榨干
先说重头戏 Nemotron-CC-v2，它是 Nemotron Nano 2 系列模型的主力预训练语料：
|
|
|
|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 合计 | 6585.8B |
这个数据集的特殊之处在于：
一是新鲜，比标准 Common Crawl 多喂了 8 个 2024–2025 的快照，2025 年才产生的内容也进去了
二是有合成料，用 Qwen3-30B-A3B 对原始网页做了合成改写，同一条内容会产生多种表达方式，模型不容易过拟合到某种网页写作风格
三是国际化，Diverse QA 数据被翻译成了 15 种语言——这一步对咱们做多语种应用的团队特别友好，不用自己再翻一遍
配套还释放了一批合成模型的清单：DeepSeek-R1、DeepSeek-V3、Nemotron-4-340B、Qwen2.5-72B、Qwen3-235B-A22B 等一票开源大模型都参与了数据合成，NVIDIA 老老实实列了出来，这个透明度我给个赞
Nemotron-CC-Math：数学预训练语料的新王
Nemotron-CC-Math-v1是 133B tokens 高质量数学语料，从 Common Crawl 里挖出来的，覆盖 2014–2024 年 98 个快照，横跨 98 万+ 独立域名
以前搞数学预训练的都知道，从网页里提数学内容是老大难：HTML 解析一崩，公式就丢了，或者结构乱七八糟，OpenWebMath / MegaMath / FineMath 这几个前辈都被这个问题坑过
NVIDIA 这次搞了个五步管道解决它：
-
Lynx 渲染：用命令行浏览器 lynx 把 HTML 转结构化文本，保留公式布局，比 DOM 解析靠谱得多 -
LLM 清洗：Phi-4（14B）负责去 boilerplate、把公式统一标准化成 LaTeX -
质量分类：FineMath 分类器给每页打 1–5 分 -
去重：MinHash + LSH（NeMo-Curator） -
去污染：LLM 检测测试集泄漏（MATH、GSM8K、MMLU、MMLU-Pro）
跑分部分非常炸裂：
|
|
|
|
|
|
|
|
|---|---|---|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| Nemotron-CC-Math-3+ | 44.20 | 80.06 | 37.16 | 43.51 | 68.20 | 64.26 |
在 MATH 这个最难的基准上，直接把上一代最好的 FineMath 从 34.6 拉到 44.20，接近 10 个百分点的绝对提升，做数学模型的老铁可以直接抄作业了
下载也是一行代码：
from datasets import load_dataset
ds = load_dataset("nvidia/Nemotron-CC-Math-v1", "4plus", streaming=True)
Nemotron-Personas：5300 万合成人设的骚操作
前面两个还是常规的预训练语料，这个 Nemotron-Personas 就是纯纯的骚操作了
它是一批基于真实人口统计学分布合成的人设数据，目前覆盖 10 个国家、9 种语言变体，累计约 5300 万条人设记录，映射的人口体量超过 24 亿
现在放出来的国家 / 数据集：
|
|
|
|
|
|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
每一条人设不是拍脑袋编的，而是有四阶段合成管道兜底：
-
OCEAN 大五人格采样：五个维度打分 → 分档 → 挂上心理学文献里的描述 -
概率图模型（PGM）人口学采样：基于真实的普查、行政记录、公共调查数据训练 PGM，让年龄、教育、职业、婚姻、地理位置这些字段之间的相关性符合真实人口分布（避免生成「3 岁做外科医生结婚 30 年独居新加坡」这种鬼东西） -
结构化 LLM 生成人设属性：文化背景、技能专长、职业目标、爱好兴趣 -
合成 9 种维度的人设描述：职业、财务、健康、运动、艺术、旅行、饮食、简介、详细画像
把这四步和下游怎么被 Nemotron 训练消费串起来看更直观：
背后的引擎已经全部开源了：
-
合成数据生成框架 NVIDIA-NeMo/DataDesigner：github⋅com/NVIDIA-NeMo/DataDesigner（Apache 2.0） -
概率图模型引擎 NVIDIA-NeMo/SDG-PGMs：github⋅com/NVIDIA-NeMo/SDG-PGMs
这些人设到底喂给谁吃了？ 官方在 Nemotron 3 Super 技术报告里毫不避讳地摊牌：
-
长上下文构造：把多条 Personas-USA 拼接成一条超长序列，每条独立又内部一致，完美的长上下文训练样本 -
工具调用 rollout：双 LLM 对抗，一个演真实用户（挂上一个 Persona），一个演 Agent，逼 Agent 学会应对真实用户的各种奇葩姿势 -
形式逻辑数据：把「Alice 和 Bob」的抽象命题包装成「64 岁退休电工规划养老金」，同一套推理，表面完全不同 -
SSCR 安全拒绝数据：让拒绝行为对多样化的用户群体都泛化，避免只对「明显可疑」的措辞生效 -
通用对话与指令跟随：Nemotron Nano v3 / Super v3 的对话数据全部经过 Persona 播种
最猛的实战案例：Nemotron-Nano-9B-v2-Japanese 用 Personas-Japan 做种子数据训练，直接把日文 Nejumi LLM 榜首拿下了，同样的模板正在扩到韩语、印地语等主权 AI 场景
Prompt Atlas：一张地图看穿 10 万亿 tokens 长啥样
10 万亿 tokens 这个体量，看表格是没意义的，NVIDIA 干脆做了个交互式可视化
每个点是一个 prompt 样本，按语义相似性聚类，你可以：
-
按 dataset、pipeline_stage、domain换颜色 -
用侧边栏筛选 Collections、Pipeline stage 等元数据 -
甚至可以写 SQL predicate 做自定义过滤 -
直接语义搜索——输入「教练怎么和患者沟通」这种自然语言，找到最相似的 prompt
底层用的是 nemotron-llama-embed-v2 embedding 模型 + 降维投影
做数据 curation 或者做 evals 的老铁，这个工具太顶了，可以直接在浏览器里看清楚 Nemotron 训练数据的组成分布，哪块密集、哪块稀疏、有没有明显的分布偏差，一目了然
NeMo Data Designer：自己动手生成合成数据
如果你不是要用现成的 Nemotron 数据集，而是要给自己项目造合成数据，那 NeMo Data Designer 就是这个关键工具
它能做啥：
-
多种采样器：统计分布采样、LLM 采样、种子数据采样 -
字段依赖：控制列与列之间的关联性 -
质量验证：Python / SQL / 远程 validator + LLM-as-a-judge 打分 -
快速预览：正式生成前先预览一小批 -
异步引擎：单元级异步、按 provider/model 自适应并发
安装超简单：
pip install data-designer
配 API key：
# 支持 NVIDIA Build、OpenAI、OpenRouter
export NVIDIA_API_KEY="your-api-key-here"
export OPENAI_API_KEY="your-openai-api-key-here"
export OPENROUTER_API_KEY="your-openrouter-api-key-here"
一个最小示例（生成商品品类 + 用户评论）：
import data_designer.config as dd
from data_designer.interface import DataDesigner
data_designer = DataDesigner()
config_builder = dd.DataDesignerConfigBuilder()
# 采样一个商品品类
config_builder.add_column(
dd.SamplerColumnConfig(
name="product_category",
sampler_type=dd.SamplerType.CATEGORY,
params=dd.CategorySamplerParams(
values=["Electronics", "Clothing", "Home & Kitchen", "Books"],
),
)
)
# 让 LLM 基于品类生成个性化评论
config_builder.add_column(
dd.LLMTextColumnConfig(
name="review",
model_alias="nvidia-text",
prompt="Write a brief product review for a {{ product_category }} item you recently purchased.",
)
)
preview = data_designer.preview(config_builder=config_builder)
preview.display_sample_record()
数据集截止 6 月 1 日已经处理了 2.6T+ tokens，官方还贴心地做了个 Claude Code / 编程 Agent 专用的 skill：
npx skills add NVIDIA-NeMo/DataDesigner
装完在 Claude Code 里直接敲 /data-designer，描述你要的数据集就行，schema 设计、验证、生成一条龙自动搞定，Coding Agent 的用户可以立刻试试
ICML 2026 的答卷：145 篇论文引用 Nemotron
顺便说个背景数据，ICML 2026（7 月 7 号刚开完）NVIDIA 交出的成绩单：
-
74 篇 NVIDIA 自己的论文被接收 -
约 2000 篇论文引用 NVIDIA GPU -
145 篇引用 Nemotron 家族的模型或数据集
生态里已经在跑的案例也很热闹：Sakana AI 基于 Nemotron 3 Ultra 做了 Fugu 系列；KiloCode 把 Nemotron 集成到代码路由架构，报告 token 成本降低 90%；NAVER 用 Nemotron 架构训了自家的韩语模型；Together AI 直接托管 Nemotron 供研究者用
一句话总结：Nemotron 已经不是「NVIDIA 家的模型」，而是「一个开放研究栈」——开权重、开数据、开配方，全都摊在桌上