哈佛大学、南加州大学、布朗大学、MIT 等多个机构的研究者联合做了一项系统性研究,给出了否定的答案,并举例到”当我们发现大模型的思考链可被用于生成炸弹装置或投毒配方等高风险内容时,便意识到这一问题非同小可”… 团队为这两个阶段分别设计了 20 条安全原则(如下图),每条原则采用 1-5 分风险程度评分体系 … 推理新问题时,系统会实时判断当前的内部状态离哪条原则的不安全中心点更近、超过一定安全边界被击中的原则方向会被锁定,在生成链结束前,模型内部表示会被轻量的整体修正再完成推理链路。
哈佛大学、南加州大学、布朗大学、MIT 等多个机构的研究者联合做了一项系统性研究,给出了否定的答案,并举例到”当我们发现大模型的思考链可被用于生成炸弹装置或投毒配方等高风险内容时,便意识到这一问题非同小可”… 团队为这两个阶段分别设计了 20 条安全原则(如下图),每条原则采用 1-5 分风险程度评分体系 … 推理新问题时,系统会实时判断当前的内部状态离哪条原则的不安全中心点更近、超过一定安全边界被击中的原则方向会被锁定,在生成链结束前,模型内部表示会被轻量的整体修正再完成推理链路。