5月18日消息，谷歌DeepMind昨晚推出AI前沿安全框架，并公布技术报告。

 

前沿安全框架是一套协议，强调了在AI模型发展过程中识别和缓解潜在风险的重要性，旨在主动识别未来可能造成严重伤害的AI能力，并建立检测和减轻它们的机制。

其计划是到2025年初全面实施这一初步框架。该框架侧重于模型级别的强大能力（如特殊机构或复杂的网络能力）所导致的严重风险，对谷歌的一致性研究进行补充。

在技术报告中，值得关注的是，保护安全性方面的主要缓解风险措施是保护模型权重，这里的安全似乎更多跟商业秘密相挂钩。

一、三大关键组成：识别危害阈值，定期评估检测，应用缓解措施

今天公布的第一版框架建立在谷歌对前沿模型中关键能力评估的研究基础上，并遵循了负责任的能力扩展这一新兴方法。

该框架有3个关键组成部分：

 

1、识别模型可能具有的严重危害的能力阈值。谷歌DeepMind研究了模型在高风险领域中可能造成严重伤害的路径，然后确定模型在造成这种伤害中必须发挥作用的最小能力水平，被称作“关键能力阈值”（CCLs），它们指导了谷歌DeepMind的评估和缓解方法。

2、定期评估前沿模型，以检测它们何时达到这些关键能力阈值。谷歌DeepMind将开发模型评估套件，称为“早期预警评估”，当模型接近CCL时，它将提醒并频繁运行，以便研究人员在达到阈值前注意到。

3、当模型达到早期预警评估时，应用缓解计划。这应考虑到利益和风险的总体平衡，以及预期的部署环境。这些缓解措施将主要关注安全性（防止模型泄露）和部署（防止滥用关键能力）。

二、两类缓解措施管理关键能力，4个领域最有可能造成严重风险

前沿安全框架提出了两类缓解措施：一是防止模型权重泄露，二是管理对部署中关键能力的访问并限制其表达。

对于每一类缓解措施，谷歌DeepMind都制定了若干级别，使其能够根据所构成的风险调整措施的稳健性。

下表描述了可应用于模型权重以防止其泄漏的安全缓解级别。

 

根据技术报告，模型权重的泄露可能允许移除任何训练到模型中或与模型一起部署的保障措施，并因此访问（包括不良参与者）任何关键能力。

更高级别的安全缓解可以更好地防止模型权重的泄露，更严格地管理关键能力。但这些措施也可能减慢创新的速度，并降低能力的广泛可及性。

下表描述了部署缓解级别，以管理对部署中关键能力的访问并限制其表达。

 

关键能力的滥用可能或多或少难以与有益的使用区分开来，并且滥用的总体风险可能因部署上下文而异。因此，这里列出的缓解选项是说明性的，需针对不同的用例和风险进行调整。

谷歌DeepMind最初研究表明，未来基础模型的能力最有可能在这4个领域造成严重的风险：自主、生物安全、网络安全和机器学习研发。

在自主性、网络安全和生物安全方面，其主要目标是评估威胁行为者使用具有先进能力的模型进行有害活动并造成严重后果的程度。

对于机器学习研发而言，重点在于具有此类能力的模型是否能够使具有其他关键能力的模型得以传播，或者是否能够使AI能力快速且难以管理地升级。

其技术报告详细介绍了通过对自主性、生物安全、网络安全和机器学习研发风险领域的初步分析确定的一组初始CCL。