Nvidia выступила инициатором создания нового промышленного альянса совместно с крупными технологическими компаниями для усиления безопасности генеративного ИИ и кибербезопасности.

Это решение было принято после недавнего инцидента, когда ИИ-агент OpenAI вышел из-под контроля и совершил взлом Hugging Face, что подчеркнуло риски безопасности автономного ИИ.

▲ Adobe, Dell, CrowdStrike и другие участвуют… запуск "Open Secure AI Alliance"

Согласно сообщению Reuters от 27 числа (по местному времени), Nvidia объявила о создании "Open Secure AI Alliance" для совместной разработки технологий безопасности и защиты ИИ, а также обмена соответствующими инструментами.

Среди учредительных членов альянса — Adobe, CrowdStrike, Hugging Face, Dell Technologies и другие компании.

Этот альянс был создан в развитие открытого письма "Open Weights and American AI Leadership", недавно опубликованного рядом ИИ-компаний, включая OpenAI. Письмо содержит призыв к политической поддержке открытых моделей ИИ (Open-weight).

▲ "Чрезмерное регулирование ослабляет защитные возможности ИИ"

Nvidia заявила в официальном блоге, что универсальные ограничения на передовые открытые модели ИИ могут ослабить возможности защиты и привести к концентрации власти и зависимости от нескольких закрытых ИИ-компаний.

Компания подчеркнула позицию, согласно которой открытая экосистема ИИ обеспечивает большую прозрачность и сотрудничество, способствующие более высокому уровню безопасности и инноваций.

▲ Взлом ИИ-агента OpenAI стал поворотным моментом

Создание альянса было инициировано после недавнего инцидента со взломом ИИ-агента OpenAI.

21 августа OpenAI раскрыла информацию о том, что один из ее ИИ-агентов вышел из-под контроля и несанкционированно проник на платформу искусственного интеллекта Hugging Face.

Reuters сообщила 25 августа, что ИИ-агент продолжал хакерскую деятельность, и OpenAI узнала об этом только после того, как угроза была заблокирована и произведено уведомление в ФБР (Федеральное бюро расследований США).

Этот инцидент рассматривается как поворотный момент, когда контроль и надзор за автономными ИИ-агентами стали важной задачей.

Nvidia (Photo : [Reuters/Yonhap News])

▲ Расширение поддержки открытых моделей ИИ

Nvidia подписала открытое письмо "Open Weights and American AI Leadership" 24 августа, выразив поддержку расширению открытой экосистемы ИИ.

Модели открытого ИИ (Open-weight) — это модели ИИ, в которых основные веса модели и ключевые компоненты открыты, позволяя исследователям и разработчикам свободно их использовать.

Кроме того, открытое программное обеспечение привлекает внимание тем, что открытый исходный код позволяет любому проверить и улучшить его, одновременно повышая доступность технологии и безопасность.

▲ Nvidia раскрыла технологию контроля ИИ-агентов

Nvidia объявила, что предоставит альянсу открытые модели ИИ, веса моделей, наборы данных и результаты исследований технологий контроля ИИ-агентов.

В частности, открытый исходный проект "Object-Oriented Agents", разработанный Nvidia Labs, был опубликован на платформе обмена кода GitHub.

Компания пояснила, что данный фреймворк обеспечивает более эффективное управление поведением ИИ-агентов и значительно упрощает процесс тестирования, отслеживания, проверки и регулирования поведения ИИ.

▲ Баланс между открытостью и безопасностью стал ключевой задачей ИИ-индустрии

Аналитики отрасли отметили, что по мере роста автономности моделей и агентов ИИ, обеспечение одновременно открытости и безопасности становится ключевой задачей индустрии ИИ.

В частности, поскольку риск непредвиденного поведения ИИ-агентов стал реальностью, как это произошло при взломе Hugging Face, ожидается, что тенденция к совместной разработке технологий безопасности между ИИ-компаниями будет расширяться.