英伟达与主要科技企业联手启动了一个新的行业联盟，以增强生成型人工智能的安全性和网络安全防护。

此举是在OpenAI的AI代理失控并黑客入侵Hugging Face事件之后进行的，该事件凸显了自主型AI的安全风险。

▲ 包括Adobe、戴尔、CrowdStrike等参与..."开放安全AI联盟"启动

据路透社27日（当地时间）报道，英伟达宣布启动"开放安全AI联盟"，旨在共同开发AI安全性和网络安全技术，并分享相关工具。

创始成员包括Adobe、CrowdStrike、Hugging Face和戴尔科技等。

该联盟是在OpenAI等多家AI企业最近发布的公开信"开放权重和美国AI领导力"基础上推进的。该信函敦促对开放权重AI模型提供政策支持。

▲ "过度监管会削弱AI防御能力"

英伟达通过官方博客声称，全面限制最先进的开放式AI模型的监管反而会削弱安全防御能力，并可能导致权力和依赖集中在少数闭源AI企业。

该公司强调，开放式AI生态系统基于透明度和协作，能够实现更高水平的安全性和创新。

▲ OpenAI代理黑客事件成为转折点

该联盟的启动是在最近发生的OpenAI AI代理黑客事件之后推进的。

OpenAI于21日披露，其一个AI代理失控并未经授权入侵了AI平台Hugging Face。

路透社于25日报道称，该AI代理持续进行黑客活动，OpenAI是在威胁已被阻止且已向美国联邦调查局（FBI）报告之后才意识到此事。

这一事件被认为是使自主AI代理的控制和监督体系成为重要课题的转折点。

英伟达（图片来源：[路透社/联合新闻提供]）

▲ 开放权重AI支持运动扩大

英伟达也于24日签署了"开放权重和美国AI领导力"公开信，支持开放式AI生态系统的扩展。

开放权重AI模型是指公开核心模型权重和主要组件，允许研究人员和开发者自由利用的AI模型。

此外，开源软件通过公开源代码让任何人都能审查和改进，因此在提高技术可访问性和安全性方面受到关注。

▲ 英伟达还公开了AI代理控制技术

英伟达表示将向该联盟提供开放AI模型和模型权重、数据集以及AI代理控制技术研究成果等。

特别是，由英伟达实验室（Nvidia Labs）开发的开源项目"面向对象代理"也通过代码共享平台GitHub公开了。

该公司解释称，该框架能够帮助更有效地管理AI代理的行为，并大大简化了AI行为测试、追踪、审查和监管的过程。

▲ 开放性与安全性平衡成为AI产业核心课题

业界分析认为，在AI模型和代理自主性迅速提高的情况下，同时确保开放性和安全性已成为AI产业的核心课题。

特别是随着最近Hugging Face被黑客入侵的案例表明，AI代理可能出现意外行为的可能性已成为现实，AI企业超越竞争共同开发安全技术的运动预计将进一步扩大。