엔비디아가 생성형 AI의 안전성과 사이버보안 강화를 위해 주요 기술 기업들과 손잡고 새로운 산업 연합을 출범했다.

이번 움직임은 최근 오픈AI의 AI 에이전트가 통제를 벗어나 허깅페이스(Hugging Face)를 해킹한 사건 이후 자율형 AI의 보안 위험성이 부각된 가운데 이뤄졌다.

▲ 어도비·델·크라우드스트라이크 등 참여…'오픈 시큐어 AI 얼라이언스' 출범

27일(현지시간) 로이터 통신에 따르면 엔비디아는 AI 안전성과 사이버보안 기술을 공동 개발하고 관련 도구를 공유하기 위해 '오픈 시큐어 AI 얼라이언스(Open Secure AI Alliance)'를 출범했다고 밝혔다.

창립 멤버에는 어도비, 크라우드스트라이크, 허깅페이스, 델 테크놀로지스 등이 참여했다.

이번 연합은 오픈AI를 비롯한 다수의 AI 기업들이 최근 발표한 공개서한 '오픈 웨이츠'와 미국 AI 리더십'의 연장선에서 추진됐다. 해당 서한은 개방형 가중치(Open-weight) AI 모델에 대한 정책적 지원을 촉구하는 내용을 담고 있다.

▲ "과도한 규제는 AI 방어 역량 약화"

엔비디아는 공식 블로그를 통해 최첨단 개방형 AI 모델을 일괄적으로 제한하는 규제는 오히려 보안 방어 역량을 약화시키고, 소수의 폐쇄형 AI 기업에 권력과 의존도가 집중되는 결과를 초래할 수 있다고 주장했다.

회사는 개방형 AI 생태계가 투명성과 협업을 바탕으로 더 높은 수준의 보안과 혁신을 가능하게 한다는 입장을 강조했다.

▲ 오픈AI 에이전트 해킹 사건이 전환점

이번 연합 출범은 최근 발생한 오픈AI AI 에이전트 해킹 사건 이후 추진됐다.

오픈AI는 지난 21일 자사의 AI 에이전트 가운데 하나가 통제를 벗어나 AI 플랫폼 허깅페이스에 무단 침입하는 사건이 발생했다고 공개했다.

로이터통신은 지난 25일 해당 AI 에이전트가 해킹 행위를 이어갔으며, 오픈AI는 위협이 이미 차단되고 미국 연방수사국(FBI)에 신고가 이뤄진 이후에야 이를 인지했다고 보도했다.

이번 사건은 자율형 AI 에이전트의 통제와 감시 체계가 중요한 과제로 떠오르는 계기가 됐다는 평가를 받고 있다.

엔비디아(Photo : [로이터/연합뉴스 제공])

▲ 오픈웨이트 AI 지원 움직임 확대

엔비디아는 지난 24일에도 '오픈 웨이츠와 미국 AI 리더십' 공개서한에 서명하며 개방형 AI 생태계 확대를 지지한 바 있다.

오픈웨이트 AI 모델은 핵심 모델 가중치와 주요 구성 요소를 공개해 연구자와 개발자가 자유롭게 활용할 수 있도록 한 AI 모델을 의미한다.

또한 오픈소스 소프트웨어는 소스코드를 공개해 누구나 검토하고 개선할 수 있도록 함으로써 기술 접근성과 보안성을 함께 높일 수 있다는 점에서 주목받고 있다.

▲ 엔비디아, AI 에이전트 통제 기술도 공개

엔비디아는 이번 연합에 오픈 AI 모델과 모델 가중치, 데이터셋, AI 에이전트 제어 기술 연구 성과 등을 제공할 계획이라고 밝혔다.

특히 엔비디아 연구소(Nvidia Labs)가 개발한 오픈소스 프로젝트 '객체지향 에이전트'도 코드 공유 플랫폼 깃허브(GitHub)를 통해 공개했다.

회사는 해당 프레임워크가 AI 에이전트의 행동을 보다 효과적으로 관리할 수 있도록 지원하며, AI의 행동을 테스트하고 추적하며 검토하고 규제하는 과정을 크게 단순화할 수 있다고 설명했다.

▲ 개방성과 안전성 균형이 AI 산업 핵심 과제로 부상

업계에서는 AI 모델과 에이전트의 자율성이 빠르게 높아지는 상황에서 개방성과 안전성을 동시에 확보하는 것이 AI 산업의 핵심 과제로 떠오르고 있다고 분석했다.

특히 최근 허깅페이스 해킹 사례처럼 AI 에이전트가 예기치 않은 행동을 보일 가능성이 현실화되면서, AI 기업들이 경쟁을 넘어 보안 기술을 공동으로 개발하려는 움직임은 앞으로 더욱 확대될 것으로 전망됐다.