Fable 5 两年后笔记本运行?端侧模型将爆发

两年后,Fable 5 级别的 AI 或许就能在你的笔记本电脑里、手机里或汽车上本地运行了。

前几天,r/LocalLLaMA 的本地大模型社区的一张图刷屏了,图里算的就是这一笔账:

从前沿到笔记本
从前沿到笔记本

作者的思路是把历代前沿模型从云端发布,到笔记本能跑的开源模型追平同级能力,中间隔了多长时间,每一代全标了出来

结论是:GPT-3 级别的能力用了 37 个月,GPT-3.5 级别是 17 个月,GPT-4 级别大约 24 个月,Claude 3.5 Sonnet 和 GPT-4o 的那一代则是 21 个月

平均算下来是 24.8 个月,正好两年。

你可能还记得 GPT-4 能识别梗图等展示的各种超强智商。而现在,几乎对于任何一个排名 top 的(支持多模态的)端侧小模型,当时 GPT-4 的能力都已经不在话下了。

所以照这个节奏往前推,便能得出一个更为惊人的结论:Fable / Mythos 5 级的能力,大约 2028 年 7 月,就能在一台高配的消费级设备上本地跑起来了。

评论区一片欢呼,说这是智能真正去中心化的时刻,甚至还有人说:不用两年,一年就够了

Fable 5 两年后笔记本运行?端侧模型将爆发

马库斯(Gary Marcus)也给出了他的标准质疑:真这样的话,那 Anthropic 和 OpenAI 们该何去何从?

01

断网自由

而本地跑大模型这事,意味着什么呢?

不用担心弱网和断网(不需要联网),不用排队也不用看订阅额度的脸色,不用担心隐私,也不用管你是不是说中文或是时区“奇怪”的哪国人。

你唯一需要关心的是:你的电脑、你的车,还有没有电Fable 5 两年后笔记本运行?端侧模型将爆发

唯一的牵挂只剩一块电池
唯一的牵挂只剩一块电池

当然,我和马库斯的看法不同:云端模型并不会消失(如果他是这个意思),而是将同样变得更强大、更智能,继续突破智能的上限,或者顺好……训练出接近自己的端侧模型。

而且云端能力的提升,在很多领域的收益其实是递减的:一是真实生活里的大多数场景并没有那么难;二是这些场景对网络、实时性和隐私的要求,反倒比对智商的要求要更高。

试想一下,如果你那辆自动驾驶的汽车,完全依赖联网的云端模型,那么当它开进一条信号不太好的隧道时,你的内心……应该是慌得一批的。

进了隧道云端断了本地还在
进了隧道云端断了本地还在

所以接下来两年,端侧模型极可能将迎来一轮大爆发。

你在车里说了什么、去了哪里,不用再传到云端;网络信号和响应延迟,也不再是体验的天花板。

02

光下沉还不够

不过,如果什么也不干,就盯着这张图干等个两年,其实也不太行。

云端模型完成到本地的下沉,基本上指的是 benchmark 追平这事。

但是,真要进你手机和车机里的,真的会是一个小号的 GPT-5.6 或 Fable 5 吗?

不会。

光把旗舰缩小玩不转手机
光把旗舰缩小玩不转手机

终端上的 AI 需要看得懂屏幕、找得到按钮、听得懂你说话,还得替你动手去点各种 App。这些能力,云端旗舰模型里也没有多少现成存货,只「下沉」是不够的,而是需要从第一天起就为终端而打造。

所以端侧模型这边,模型厂商们开始动手布局了:

在 5 月底刚发完 Step 3.7 Flash 的阶跃星辰,最近便调整了自己在模型侧的布局——在本周的 WAIC 大会上,他们将正式推出端侧模型家族 Step Edge。

Step Edge 发布
Step Edge 发布

03

1+N

Step Edge 是一个面向手机、汽车的端侧模型家族,也叫做「1+N」的模型架构:一个文本+视觉的基础模型,连接 Audio、GUI、Gen 三个多模态模型:

1 个底座加 3 个感官,眼耳手齐全
1 个底座加 3 个感官,眼耳手齐全

可以理解为给智能装上了:眼睛、耳朵、手,齐全了。

阶跃对 Edge 的定位是:低至 100ms 本地 toolcall,简单任务本地响应,复杂任务上云。

成绩上,基础模型在图像理解、GUI Grounding、OCR、工具调用、App Agent 等 7 类 16 项 benchmark 里综合平均 62.92,高于 Qwen3-VL-4B、Gemma4-E4B-it、MiniCPM-V-4.6 等同级模型:

16 项综合成绩
16 项综合成绩

Step Edge 的 Agent 能力在同级别模型上有着显著的优势:AppWorld 是 21.43,远高于第二名 Gemma4 的 15.48;空间理解 MINDCUBE 是 47.83,比第二名高出 10 分。

不过,在传统的图像理解和 OCR 两个非 Agent 任务上,Step Edge 只是保持在了第一梯队的水平,不算突出领先。

家庭其他成员方面,Step Edge GUI 模型在 OSWorld 上拿了 51.5,Mobile Gym 21.3:

GUI Agent 成绩
GUI Agent 成绩

Step Edge Audio 模型的 12 项音频理解评测平均 68.07,同样第一,中文识别的字错误率平均 3.004:

音频理解成绩
音频理解成绩

Step Edge Gen 则把文生图和图像编辑带到了本地,在端侧模型的对比里也明显占优:

图像生成成绩
图像生成成绩

04

自研 NPU 引擎

能力只是一方面,端侧还有个问题是:分数好看并不代表在真机上就能跑得起来

可以说,端侧模型的竞争,一半在模型,一半在系统工程

因为一旦到了手机 NPU 上,量化、内存、算子支持等每一步,都可能把纸面上的能力打回原形……

所以这次 Step Edge 还配套了自研的 Step Inference NPU 推理引擎,对比同样跑在 Hexagon NPU 上的 llama.cpp 方案:

推理速度对比
推理速度对比

1024 token 的文本输入,端到端 4.33 秒,快了约 2 秒;看一张 768 分辨率的图,5.61 秒用时约一半;听一段 30 秒语音,则是 10.7 秒快了 6 秒。

Prefill 时的速度甚至能高达 1395 TPS

对应的就是,你给你的智能汽车说完一句话后,它是秒懂还是得想个一会儿的差别。

05

Pro + Flash + Edge

对阶跃来说,Edge 这次发布后,它的模型布局便凑成了「Pro + Flash + Edge」三层:Pro 管复杂推理,Step 3.7 Flash(输出速度 409 tokens/s,AA 榜速度第一)管高频低延迟的云端 Agent,Edge 则管终端本地执行。

Pro Flash Edge 三层分工
Pro Flash Edge 三层分工

而这条「端云分工」的路,其实也不只是阶跃一家在走。

Apple Intelligence 用的也是这个架构:大部分任务在设备端的小模型上跑,复杂任务丢给 Private Cloud Compute。

高通在 CES 2026 发布的 Snapdragon X2 Elite Extreme,NPU 算力干到了 80 TOPS。

云端负责峰值智能,端侧负责本地执行,正在成为行业的共识。

06

2028 年 7 月

说回开头的图。

两年后的笔记本里跑着一个 Fable 5 级模型的两年从 frontier 到本地的规律,不能说板上钉钉,但可能仍会继续成立(走着瞧了)。

那时我们在手机和车上的智能体验,会由谁来决定呢?

云端超级大脑加终端执行层
云端超级大脑加终端执行层

答案更可能是一个生在终端的执行层,加一个云端的超级大脑:

山高皇帝远,还得有本地人。

◇ ◆ ◇

行业动态

让AI从零做完一个系统,这几条避坑铁律我建议你先看再动手

2026-7-11 22:30:00

行业动态

大模型本地部署最强引擎,vLLM 大版本更新

2026-7-12 20:50:18

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧