오픈AI가 자사의 첨단 인공지능(AI) 모델 기반 자율 에이전트가 보안 테스트 도중 통제를 벗어나 인터넷에 접속한 뒤 AI 플랫폼 허깅페이스(Hugging Face)의 인프라를 침해하는 해킹을 수행했다고 공개했다.

업계에서는 최첨단 AI 모델의 통제 가능성과 보안 위험성에 대한 우려가 한층 커질 것으로 전망했다.

▲ AI 보안 테스트 중 자율 에이전트가 통제 벗어나

22일(현지시간) 로이터 통신에 따르면 오픈AI는 이날 블로그를 통해 일부 최첨단 AI 모델의 사이버 보안 역량을 통제된 환경에서 시험하던 중 예상치 못한 사고가 발생했다고 밝혔다.

회사에 따르면 해당 AI 자율 에이전트는 격리된 테스트 환경을 벗어나 인터넷에 연결한 뒤 허깅페이스 시스템에 침입해 자신에게 부여된 테스트 목표를 달성하려고 시도했다.

오픈AI는 이번 사건을 "최첨단 사이버 공격 역량이 동원된 전례 없는 사이버 사고"라고 규정했으며, 향후 유사한 사례를 막기 위해 안전장치를 대폭 강화하고 있다고 설명했다.

▲ 허깅페이스 "기존과 전혀 다른 AI 주도 해킹"

오픈소스 대규모언어모델(LLM)과 데이터셋을 제공하는 플랫폼 허깅페이스는 지난주 자사 블로그를 통해 이전과는 전혀 다른 형태의 해킹 공격을 받았다고 공개해 사이버 보안 업계의 관심을 모았다.

허깅페이스는 해당 공격이 "처음부터 끝까지 자율형 AI 에이전트 시스템에 의해 수행됐다"며 기존 해킹과는 차원이 다른 사례라고 설명했다.

클레망 들랑그(Clement Delangue) 허깅페이스 공동창업자는 X(구 트위터)를 통해 "에이전트의 정교함을 고려할 때 최첨단 AI 연구소가 배후일 가능성을 의심했는데 실제로 그랬다"고 밝혔다.

그는 이어 "모든 과정이 AI에 의해 자율적으로 이뤄졌다는 사실이 매우 충격적이었다"고 덧붙였다.

▲ 최첨단 AI 통제 실패에 안전성 우려 확산

오픈AI는 해당 AI 모델을 "고도로 격리된 환경"에서 운용했다고 밝혔지만, 결과적으로 외부 인터넷에 접근해 실제 시스템을 침해한 사실이 확인되면서 최첨단 AI 모델의 안전성 논란은 더욱 커질 것으로 예상됐다.

특히 AI 모델이 인간의 직접적인 개입 없이 독립적으로 목표를 달성하기 위해 행동했다는 점에서 기존 AI 안전 프레임워크의 한계가 드러났다는 평가도 제기됐다.

오픈AI 로고(Photo : [AFP/연합뉴스 제공])

▲ 미국 정치권 "AI 규제 시급"

미국 민주당 소속 그레그 카사르(Greg Casar) 하원의원은 이번 사건이 매우 우려스럽다고 밝혔다.

그는 "AI 기술은 사람들을 보호할 실질적인 규제 없이 지나치게 빠른 속도로 발전하고 있다"며 독립적인 안전성 평가 의무화, 보안 사고 공개 의무, 국제 공조 체계 구축이 필요하다고 주장했다.

한편 미국 국가사이버국(ONCD), 사이버보안 및 인프라보안국(CISA), 국가안보국(NSA)은 이번 사안에 대한 논평 요청에 즉각 응답하지 않았다.

▲ 전문가 "AI 탈출 사례 더 늘어날 가능성"

루타 시큐리티의 최고경영자(CEO) 케이티 무수리스(Katie Moussouris)는 이번 사건이 앞으로 발생할 AI 기반 보안 침해의 전조가 될 수 있다고 진단했다.

그는 현재 AI 모델을 "무한한 팔을 가진 세계 최고의 탈출 전문가 문어와 같다"며 어떤 환경에서도 빠져나갈 수 있는 능력을 갖춰가고 있다고 비유했다.

이어 "연구소와 정부 평가기관은 AI가 또 다른 '후디니식 탈출'을 시도할 경우 이를 격리하고 감시하며 피해 당사자에게 신속히 알릴 수 있는 체계를 마련해야 한다"면서 "현재는 이러한 시스템이 사실상 존재하지 않는다"고 지적했다.

▲ "최첨단 연구소만의 문제가 아니다"

에이전트형 AI 보안기업 톨모(Tolmo)의 엔지니어 맷 수이시(Matt Suiche)는 이번 사건이 최첨단 AI 모델이 국가급 해커 수준에 점차 근접하고 있음을 보여주는 사례라고 평가했다.

다만 그는 오픈AI가 설명한 수준의 공격은 이미 일반적으로 이용 가능한 기술만으로도 충분히 구현할 수 있다고 분석했다.

수이시는 "우리 역시 내부에서 운용하는 AI 에이전트로 이미 비슷한 결과를 확인했다"며 "반드시 최신 AI 모델을 사용할 필요도 없다"고 말했다.