생성형 인공지능(AI) 업계의 선두주자인 앤트로픽(Anthropic)이 글로벌 AI 개발 속도를 늦추거나 일시적으로 중단하는 방안을 검토해야 한다고 주장했다.

AI 기술이 예상보다 빠르게 발전하면서 가까운 미래에 인간의 개입 없이 스스로 성능을 개선하는 단계에 도달할 수 있으며, 이는 사회 전반에 중대한 위험을 초래할 수 있다는 경고다.

4일(현지 시각) 월스트리트저널(WSJ)에 따르면 앤트로픽은 공개한 블로그를 통해 자사 최신 AI 모델들의 성능 향상 속도를 분석한 내부 데이터를 공개하며 이러한 우려를 공식화했다.

▲ ‘재귀적 자기개선’ 현실화 가능성 제기

이번 글은 앤트로픽 공동창업자이자 공익연구 부문 책임자인 잭 클라크(Jack Clark)와 사내 연구소 책임자인 마리나 파바로가 공동 작성했다.

이들은 현재 AI 모델의 발전 속도가 ‘재귀적 자기개선’ 단계로 향하고 있다고 분석했다.

재귀적 자기개선은 AI가 인간의 도움 없이 스스로를 개선하고 더 뛰어난 AI를 만들어내는 능력을 의미한다.

AI 업계 일각에서는 이 시점을 인간 수준 이상의 지능 출현과 사회 구조의 급격한 변화가 시작되는 중요한 전환점으로 보고 있다.

앤트로픽은 "사회 제도와 AI 정렬 연구가 기술 발전 속도를 따라갈 수 있도록 최첨단 AI 개발을 늦추거나 일시 중단할 수 있는 선택권을 확보하는 것이 바람직하다"고 밝혔다.

▲ 글로벌 감속 합의 필요성 강조

앤트로픽은 단순한 경고에 그치지 않고 국제적 차원의 AI 개발 감속 체계 구축을 제안했다.

회사는 주요 AI 기업들이 공동으로 개발 속도 조절 기준에 합의하고, 경쟁사들이 이를 실제 준수하는지 검증할 수 있는 국제적 감시 시스템이 필요하다고 주장했다.

다만 앤트로픽은 재귀적 자기개선이 아직 현실화된 것은 아니며 반드시 발생하는 것도 아니라고 설명했다.

그럼에도 "대부분의 기관이 준비할 수 있는 시점보다 훨씬 빨리 도래할 가능성이 있다"고 경고했다.

▲ AI 시장 선두주자의 이례적 경고

이번 주장이 더욱 주목받는 이유는 앤트로픽이 현재 AI 산업의 핵심 승자 중 하나로 평가받고 있기 때문이다.

앤트로픽은 최근 약 1조 달러에 육박하는 기업가치를 인정받으며 대규모 투자 유치를 완료했고, 기업공개(IPO)를 위한 비공개 절차에도 착수했다.

특히 챗GPT 개발사 오픈AI와 함께 AI 패권 경쟁의 최전선에 서 있는 기업으로 평가된다.

회사의 연환산 매출(Run Rate)은 지난해 말 90억 달러 수준에서 이달 말 500억 달러 규모까지 확대될 것으로 전망된다.

▲ “안전 논의는 경쟁사 견제 전략” 비판도

그러나 앤트로픽의 AI 안전성 강조가 순수한 문제의식만은 아니라는 비판도 꾸준히 제기되고 있다.

도널드 트럼프 미국 대통령의 비공식 자문역으로 활동하는 벤처투자자 데이비드 색스(David Sacks)는 앤트로픽 경영진이 ‘규제 포획(Regulatory Capture)’ 전략을 추진하고 있다고 비판한 바 있다.

이는 안전 규제를 명분으로 경쟁사의 기술 발전을 제한하려 한다는 주장이다.

색스는 최근 팟캐스트 인터뷰에서 이러한 규제 움직임이 오픈소스 AI 모델을 사실상 금지하려는 방향으로 이어질 수 있다고 우려했다.

오픈소스 모델은 기업들이 상대적으로 저렴한 비용으로 AI를 자체 개발·운영할 수 있게 해주는 기술이다.

▲ 안전 경고 자체가 마케팅이라는 시각

일부 전문가들은 앤트로픽의 위험 경고가 일종의 마케팅 전략일 가능성도 제기한다.

최근 앤트로픽은 취약점을 탐지할 수 있는 강력한 사이버보안 AI 모델 '미토스(Mythos)'의 공개 범위를 제한했다.

비판론자들은 이러한 조치가 안전성 우려를 강조하면서 동시에 자사 기술의 강력함을 부각하는 효과를 가져온다고 지적한다.

반면 회사 측은 AI 위험성에 대한 사회적 논의를 확대하기 위해 진정성 있게 접근하고 있다고 반박하고 있다.

앤트로픽[로이터/연합뉴스 제공]

▲ “회사 내부에도 다양한 시각 공존”

와튼스쿨의 AI 전문가 에단 몰릭(Ethan Mollick) 교수는 앤트로픽 내부에도 다양한 이해관계와 철학이 공존한다고 분석했다.

그는 "AI 기업은 단순한 연구 조직이 아니다"라며 "마케팅 부서와 법무팀이 있는 거대 기업인 동시에 차세대 AI를 개발하는 연구자 집단, 그리고 인류의 미래를 고민하는 철학자적 인물들이 함께 존재한다"고 설명했다.

이어 "이들 사이에서도 종종 관점 충돌이 발생한다"고 덧붙였다.

▲ AGI 실현 가능성 놓고 업계 분열

AI 업계는 현재 인간 수준의 범용인공지능(AGI) 실현 가능성을 두고 첨예하게 갈라져 있다.

메타(Meta)의 전 수석 AI 과학자이자 딥러닝 분야의 선구자인 얀 르쿤(Yann LeCun)은 현재 대규모 언어모델(LLM) 기반 시스템이 인간 수준의 지능에 도달하지 못할 것이라고 주장한다.

그는 AI를 매우 강력한 도구로 인정하면서도 "고양이 수준의 지능"에 비유하며 인류 멸종 위험론에 강하게 반대해왔다.

반면 앤트로픽 다리오 아모데이 최고경영자(CEO)는 수년 전부터 AI의 잠재적 위험성을 지속적으로 경고해왔다.

아모데이는 AI가 사회 불평등을 심화시키고 초급 사무직 일자리의 최대 절반까지 대체할 수 있다고 전망해왔다.

그는 또 가까운 미래에 등장할 강력한 AI 시스템이 인간이 예측하지 못한 방식으로 파괴적 행동을 보일 가능성도 있다고 주장한다.