YuanLab.ai 开源发布万亿参数多模态大模型 Yuan3.0 Ultra

该模型基于混合专家(MoE)架构,初始参数 1515B,通过自研的 Layer-Adaptive Expert Pruning(LAEP)算法优化至 1010B,预训练效率提升 49%,激活参数为 68.8B … Yuan3.0 Ultra 采用统一多模态架构,集成视觉编码器、语言主干与对齐模块,并引入 Localized Filtering Attention(LFA)机制,在 DocMatix、ChatRAG、Spider 等企业级评测中全面领先 GPT-5.2、Gemini 3.1 Pro 及 Claude Opus 4.6,显著提升复杂文档理解、检索增强生成、Text-to-SQL 及工具调用能力 … Yuan3.0 Ultra 已全面开源,支持 16bit 与 4bit 版本下载,旨在推动大模型在企业 Agent 场景中的规模化落地。

原文连接

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧