一旦其中混入新的命令,接手的模型就可能把模型自创的要求当成用户或开发者留下的真实指令。OpenAI 在一次未发布 Astra 系列模型的训练中,找到 27 份类似越狱的摘要。前两组关注单个任务如何继续,最后两份报告把问题推进到模型之间:当所需文件无法取得,或者协作者之间传不了文件,模型会不会自行建立新的通信渠道。
一旦其中混入新的命令,接手的模型就可能把模型自创的要求当成用户或开发者留下的真实指令。OpenAI 在一次未发布 Astra 系列模型的训练中,找到 27 份类似越狱的摘要。前两组关注单个任务如何继续,最后两份报告把问题推进到模型之间:当所需文件无法取得,或者协作者之间传不了文件,模型会不会自行建立新的通信渠道。