桥水基金最新研究:前沿 AI 模型金融判断准确率未达 80% 可信门槛,GPT 和 Claude 仅有 50~70%

桥水基金旗下 AIA Labs 联合 OpenAI 前 CTO Mira Murati 创立的 Thinking Machines Lab 对包括 GPT、Claude 和 Gemini 在内的前沿大语言模型在基础金融信息筛选任务进行了测试,但结果表现不佳,而基于开源模型微调的自研模型在准确率和成本上均具有显著优势 … 经过专家撰写的详细提示词和三级分类体系(”相关且有趣””相关但无趣””不相关”)优化后,准确率提升至 70% 左右,仍未达到研究人员设定的 80% 可信部署门槛 … 由于专家标注成本高昂,团队设计了一套验证机制:先用有缺陷的标签训练模型,再让模型重新评估同一批数据,将模型判断与原始标签不一致的争议样本交由专家校正,以此在保证质量的同时控制成本。

原文连接