端侧算力的「奇点」时刻 — 需求,模型,芯片的三维共振

ViT 更消耗算力,这恰恰打通了端侧算力升级的逻辑 —— 更强的算力可以真正转化为更强的能力,而不是”空有算力却无法提升能力”… 报告指出,GEM 模型当前的主要痛点在于不同模态信号的对齐,以及灾难性遗忘、模态鸿沟等问题,”不仅需要模型工程上的持续优化,在未来执行层面,也需要专门的算力芯片架构进行配合”… 报告指出,大部分端侧模型的预训练和微调都需要借助 CUDA 生态完成,”如果在端侧使用 GPGPU 架构的算力,那么无论是部署速度,部署效果都会远超需要转译的 NPU 环境”。

原文连接