大语言模型(LLM)已经成为各类 AI 应用的基础设施,然而,在通过云端 API 便捷接入这些强大模型的同时,此类黑盒服务模式也引发了一个现实的信任危机:如何确保大模型服务提供商真的运行了所承诺的模型,并如实报告实际使用了 Token 数量,以防止潜在的 LLM 服务「降智、减配、乱收费」… 借助该框架,用户能够在完全不暴露模型内部信息的情况下,仅需 1% 的额外开销,就能轻松验证黑盒 LLM API 的执行完整性,以有效检测模型替换、过度量化以及 Token 虚报计费等 LLM 服务违规行为 … 本研究提出了一种面向黑盒 LLM API 的全新审计框架 IMMACULATE。
暂无讨论,说说你的看法吧

