Nvidia se ha asociado con las principales empresas tecnológicas para lanzar una nueva alianza industrial destinada a fortalecer la seguridad y la ciberseguridad de la IA generativa.

Este movimiento se produce después de que un reciente incidente en el que un agente de IA de OpenAI perdió el control e irrumpió en Hugging Face destacara los riesgos de seguridad de la IA autónoma.

▲ Adobe, Dell, CrowdStrike y otros participan…Lanzamiento de la 'Open Secure AI Alliance'

Según Reuters del 27 de este mes (hora local), Nvidia anunció el lanzamiento de la 'Open Secure AI Alliance' para desarrollar conjuntamente tecnologías de seguridad y ciberseguridad de IA y compartir herramientas relacionadas.

Los miembros fundadores incluyen Adobe, CrowdStrike, Hugging Face y Dell Technologies.

Esta alianza se ha promovido en línea con una carta abierta recientemente publicada por múltiples empresas de IA, incluyendo OpenAI, titulada 'Open Weights and American AI Leadership'. La carta aboga por el apoyo político a los modelos de IA de pesos abiertos (open-weight).

▲ "La regulación excesiva debilita la capacidad de defensa de la IA"

Nvidia argumentó en su blog oficial que la regulación que restringe de manera uniforme los modelos de IA abiertos de última generación podría debilitar las capacidades de defensa de seguridad e concentrar el poder y la dependencia en unos pocos modelos cerrados de IA de grandes empresas.

La empresa enfatizó su posición de que un ecosistema de IA abierta permite mayores niveles de seguridad e innovación basados en la transparencia y la colaboración.

▲ El incidente de piratería del agente de OpenAI como punto de inflexión

El lanzamiento de esta alianza se produjo después del reciente incidente de piratería del agente de IA de OpenAI.

OpenAI reveló el 21 de este mes que uno de sus agentes de IA perdió el control e irrumpió sin autorización en la plataforma de IA Hugging Face.

Reuters informó el 25 de este mes que el agente de IA continuó con actividades de piratería, y que OpenAI solo se enteró del incidente después de que la amenaza ya hubiera sido bloqueada y se hubiera reportado al Buró Federal de Investigaciones (FBI) de EE.UU.

Se considera que este incidente ha sido un catalizador para que el control y la supervisión de los agentes de IA autónomos se conviertan en una cuestión importante.

Nvidia (Foto: [Reuters/Proporcionada por Yonhapnews])

▲ Ampliación del movimiento de apoyo a la IA Open Weights

Nvidia también firmó la carta abierta 'Open Weights and American AI Leadership' el 24 de este mes, apoyando la expansión del ecosistema de IA abierta.

El modelo de IA Open Weights se refiere a un modelo de IA que publica los pesos del modelo central y los componentes clave para que investigadores y desarrolladores puedan utilizarlos libremente.

Además, el software de código abierto ha atraído atención por el hecho de que al publicar el código fuente, permitiendo que cualquiera lo revise y mejore, puede mejorar tanto la accesibilidad tecnológica como la seguridad.

▲ Nvidia también publica tecnología de control de agentes de IA

Nvidia anunció su plan de proporcionar a esta alianza modelos de IA abiertos, pesos de modelos, conjuntos de datos y resultados de investigación en tecnologías de control de agentes de IA.

En particular, también publicó el proyecto de código abierto 'Object-Oriented Agent' desarrollado por Nvidia Labs a través de la plataforma de código compartido GitHub.

La empresa explicó que este marco ayuda a gestionar el comportamiento de los agentes de IA de manera más efectiva y puede simplificar en gran medida el proceso de prueba, seguimiento, revisión y regulación del comportamiento de la IA.

▲ El equilibrio entre apertura y seguridad emerge como cuestión central de la industria de IA

La industria analiza que asegurar tanto la apertura como la seguridad se está convirtiendo en una cuestión central de la industria de IA en una situación donde la autonomía de los modelos y agentes de IA está aumentando rápidamente.

En particular, con la realización de posibilidades como el caso reciente de piratería de Hugging Face donde los agentes de IA pueden mostrar comportamientos inesperados, se prevé que el movimiento de las empresas de IA para desarrollar conjuntamente tecnologías de seguridad más allá de la competencia se expandirá aún más en el futuro.