云南龙网

  1. 首页 > 生活百科 > >

Google DeepMind升级前沿AI安全框架，防范操控和抗关停风险

人工智能aiGoogledeepmind

Google DeepMind升级前沿AI安全框架，防范操控和抗关停风险

Alphabet旗下的Google DeepMind实验室今日发布了第三版前沿安全框架(Frontier Safety Framework) ， 旨在加强对强大人工智能系统的监管 ， 防止这些系统在失控时可能带来的风险 。
该框架第三版引入了对操控能力的新关注点 ， 并将安全审查范围扩展到模型可能抵制人类关停或控制的场景 。
更新内容的首要亮点是增加了DeepMind所称的\"有害操控关键能力等级\" 。 这一等级旨在应对先进模型可能在高风险情境下大规模影响或改变人类信念和行为的可能性 。 该能力建立在多年来对生成式AI中说服和操控机制的研究基础上 ， 并正式确定了如何在模型达到关键阈值之前测量、监控和缓解此类风险 。
更新后的框架还对不对齐和控制挑战给予了更严格的审查 ， 即高能力系统在理论上可能抵制修改或关停的问题 。
DeepMind现在要求不仅在外部部署之前进行安全案例审查 ， 还要在模型达到特定关键能力等级阈值后的大规模内部推广中进行审查 。 这些审查旨在强制团队在发布前证明潜在风险已被充分识别、缓解并判断为可接受 。
除了新的风险类别外 ， 更新后的框架还完善了DeepMind定义和应用能力等级的方式 。 这些改进旨在清楚地区分常规运营关切与最严重的威胁 ， 确保治理机制在正确的时间触发 。
前沿安全框架强调 ， 缓解措施必须在系统跨越危险边界之前主动应用 ， 而不是仅在问题出现后被动应对 。
Google DeepMind的Four Flynn、Helen King和Anca Dragan在博客文章中表示：\"我们前沿安全框架的最新更新体现了我们持续承诺 ， 即采用科学和基于证据的方法来跟踪并领先于AI风险 ， 因为能力正朝着通用人工智能发展 。 通过扩展我们的风险领域和加强风险评估流程 ， 我们旨在确保变革性AI造福人类 ， 同时最大限度地减少潜在危害 。 \"
作者补充说 ， DeepMind预计前沿安全框架将随着新研究、部署经验和利益相关者反馈的积累而持续发展 。
Q&A
Q1：Google DeepMind前沿安全框架第三版主要更新了什么？
A：第三版框架主要增加了对AI操控能力的关注 ， 设立了\"有害操控关键能力等级\" ， 并扩展了安全审查范围 ， 覆盖模型可能抵制人类关停或控制的场景 。 同时完善了能力等级的定义和应用方式 。
Q2：什么是有害操控关键能力等级？
A：有害操控关键能力等级是DeepMind新增的安全评估标准 ， 用于应对先进AI模型可能在高风险情境下大规模影响或改变人类信念和行为的风险 。 它建立在多年来对生成式AI中说服和操控机制的研究基础上 。
Q3：前沿安全框架如何确保AI系统的安全性？
A：框架要求在模型外部部署前和达到特定能力阈值的大规模内部推广时都要进行安全案例审查 。 强调必须在系统跨越危险边界之前主动应用缓解措施 ， 而不是问题出现后被动应对 ， 确保潜在风险被充分识别和缓解 。
【Google DeepMind升级前沿AI安全框架，防范操控和抗关停风险】

    推荐阅读


    上一篇：量子计算遇见InfiniBand：老技术的新使命

    下一篇：英伟达押注英特尔，CUDA护城河扩大，AI工厂重塑数据中心