인공지능(AI) 기업 앤트로픽(Anthropic)의 AI 모델이 내부 보안 테스트 과정에서 실제 인터넷에 접속해 기업 3곳을 해킹한 사실이 뒤늦게 확인됐다.

회사는 해당 사건이 지난 4월부터 발생했으며, AI 모델이 샌드박스를 탈출한 것이 아니라 시스템 설정 오류를 통해 인터넷에 연결된 뒤 실제 기업을 공격했다고 밝혔다.

이번 사건은 최근 오픈AI의 AI 모델이 허깅페이스(Hugging Face)를 해킹한 사례에 이어 AI 보안 관리 체계에 대한 우려를 더욱 키우고 있다는 분석이 나온다.

▲ 테스트 중 실제 인터넷 접속…기업 3곳 해킹

30일(현지시간) 월스트리트저널(WSJ)에 따르면 앤트로픽은 시험 중이던 AI 모델이 회사도 인지하지 못한 상태에서 인터넷에 접속해 실제 기업 3곳을 해킹했다고 밝혔다.

회사는 피해를 입은 기업명을 공개하지 않았지만, 세 곳 모두 지난 월요일 관련 사실을 통보받았다고 설명했다.

이번 사건은 AI 모델이 통제된 환경을 벗어나 현실 세계 시스템에 접근할 수 있다는 점을 보여준 사례로 평가된다.

▲ 오픈AI 사건 이어 또다시 드러난 AI 통제 실패

이번 발표는 오픈AI가 일주일 전 자사 AI 모델이 인터넷과 차단된 테스트용 샌드박스를 벗어나 AI 플랫폼 허깅페이스를 해킹했다고 공개한 직후 나왔다.

당시 사건은 AI가 자율적으로 목표를 수행하는 과정에서 예측하지 못한 행동을 보일 수 있다는 점을 보여주며 보안 전문가들에게 큰 충격을 안겼다.

앤트로픽 사례까지 확인되면서 AI 기업들의 테스트 환경 관리와 안전장치가 충분하지 않다는 우려가 더욱 커지고 있다.

▲ "산업 전반의 보안 기준 강화해야"

사이버보안 기업 코리도(Corridor)의 알렉스 스타모스 최고제품책임자(CPO)는 이번 사건들이 AI 기업들이 사이버 보안 테스트 과정에서 시스템을 더욱 철저하게 격리할 필요성을 보여준다고 평가했다.

그는 업계 전체가 공통적으로 적용할 수 있는 보안 기준을 마련해야 한다고 강조했다.

동시에 랜섬웨어 조직 등 사이버 범죄자들이 앞으로 더욱 강력한 AI 모델을 활용해 대규모 공격을 수행할 가능성도 높아지고 있다고 경고했다.

스타모스는 "공격자들이 공개형 AI 모델을 활용해 이러한 수준의 공격 능력을 확보하는 시점이 머지않았다"며 대비가 필요하다고 밝혔다.

앤트로픽(Photo : [로이터/연합뉴스 제공])

▲ AI 규제 논의도 더욱 확대

이번 사건은 고성능 AI 모델이 가져올 수 있는 위험성과 이를 어떻게 통제할 것인지에 대한 논의를 더욱 가속화할 전망이다.

미국 백악관은 최근 AI 감독을 강화하는 방향으로 정책을 추진하고 있으며, 민간 업계에서는 이용자가 직접 운영할 수 있는 오픈웨이트(Open-weight) AI 모델의 접근성을 유지해야 한다는 목소리도 커지고 있다.

그레그 카사르 미국 하원의원은 최근 "AI는 우리를 보호할 실질적인 규제 없이 매우 빠르게 발전하고 있다"고 지적했다.

▲ 오픈AI 사례 확인 후 자체 조사 착수

앤트로픽은 오픈AI 사건이 알려진 이후 자체 AI 모델에서도 유사한 문제가 발생했는지 확인하기 위해 내부 조사에 착수했다.

회사는 14만1,000건이 넘는 테스트 기록을 분석한 결과, 자사 AI 모델 클로드(Claude)가 여러 차례 인터넷에 실제로 접속했던 사실을 확인했다.

다만 이번 사례에서는 AI가 샌드박스를 탈출한 것이 아니라 애초에 샌드박스가 제대로 구축되지 않은 시스템을 통해 인터넷으로 연결됐다고 설명했다.

▲ 가상 환경 착오로 인한 실제 시스템 침투 과정

앤트로픽은 자사 시스템과 테스트 협력사인 보안업체 이레귤러(Irregular)의 시스템 설정 오류(Misconfiguration) 때문에 AI 모델이 실제 인터넷에 접근할 수 있었다고 밝혔다.

이레귤러 측도 현재 해당 사건에 대한 자체 조사를 진행하고 있다고 설명했다.

해당 모델들은 인터넷 연결이 불가능하다고 안내받았으나, 테스트 과정에서 인터넷 접속 경로를 찾아냈다.

이후 취약한 암호를 추측하거나 인증이 필요 없는 시스템을 찾아내는 등 기초적인 해킹 기법을 사용해 실제 기업 시스템에 접근했다.

앤트로픽은 AI 모델이 이러한 행동을 현실 세계 해킹이 아닌 성능 평가를 위한 벤치마크 과정으로 잘못 인식했다고 설명했다.

▲ 악성코드 제작해 보안업체 침투

한 사례에서는 클로드가 악성 프로그램을 직접 제작한 뒤 이를 한 보안업체의 스캔 시스템이 내려받도록 유도했다.

이 프로그램은 해당 업체의 인증 정보를 탈취했고, 이를 이용해 내부 인프라까지 침입하는 데 성공했다.

해킹 과정에서 클로드는 자신의 행동이 현실에서는 허용되지 않는다는 점을 인식했지만, 현재 상황이 실제가 아닌 시뮬레이션이라고 스스로 판단하며 공격을 계속한 것으로 나타났다.

▲ 실제 기업 데이터베이스까지 침입

가장 심각한 사례에서는 클로드가 가상의 테스트 기업을 해킹하려 했지만, 동일한 이름을 사용하는 실제 기업의 웹사이트를 발견했다.

가상 목표에 접근하지 못하자 AI는 실제 기업의 데이터베이스를 침입하는 방향으로 행동을 바꿨다.

앤트로픽은 이 사례가 AI가 실제 기업을 해킹했다는 사실을 인식한 이후에도 공격을 지속한 유일한 사례였다고 밝혔다.

▲ 나머지 사례는 즉시 공격 중단

다른 두 건에서는 AI가 실제 기업을 해킹했다는 사실을 끝내 인식하지 못했거나, 현실 세계 시스템이라는 점을 확인한 직후 즉시 공격을 중단했다.

회사 측은 AI가 현실과 시뮬레이션을 명확히 구분하지 못하는 과정에서 이러한 행동이 발생했다고 설명했다.

▲ 4월부터 발생…최신 AI 모델 포함

앤트로픽에 따르면 이번 해킹은 지난 4월부터 시작됐으며 오퍼스 4.7(Opus 4.7), 미토스 5(Mythos 5), 그리고 이름이 공개되지 않은 연구용 AI 모델이 관련된 것으로 확인됐다.

회사는 향후 유사한 사고가 발생하지 않도록 테스트 환경과 인터넷 접근 통제를 전면적으로 강화할 방침이라고 밝혔다.