인공지능(AI) 기업 앤트로픽(Anthropic)이 차세대 AI 모델 '클로드 페이블 5(Claude Fable 5)'를 공개했지만, 과도한 안전장치와 사용 제한을 둘러싸고 이용자와 개발자들의 거센 반발에 직면했다.

10일(현지 시각) 월스트리트저널(WSJ)에 따르면 앤트로픽은 해당 모델이 생물학·사이버보안 등 민감한 분야에서 악용될 가능성을 차단하기 위한 조치라고 설명하고 있다.

그러나 일각에서는 기업이 AI 기술 접근을 과도하게 통제하면서 연구와 혁신을 저해하고 있다는 비판도 제기된다.

이번 논란은 강력한 AI 모델의 공개 범위와 안전 규제 수준을 누가 결정해야 하는지를 둘러싼 업계의 근본적인 논쟁으로 확산되는 모습이다.

▲ "위험해 공개 못 한다"던 모델의 후속작

클로드 페이블 5는 앤트로픽이 지난해 공개를 보류했던 차세대 AI 모델 '미토스(Mythos)'의 기술을 기반으로 개발됐다.

당시 미토스는 소프트웨어의 알려지지 않은 보안 취약점을 발견할 수 있는 능력이 지나치게 강력하다는 평가를 받았다.

이 때문에 미국 정부 관계자들과 사이버보안 전문가들 사이에서는 악용 가능성에 대한 우려가 제기됐고, 앤스로픽은 일반 대중 대상 공개를 미뤘다.

페이블 5는 이러한 우려를 반영해 대폭 강화된 안전장치를 탑재한 상태로 시장에 공개됐다.

▲ 생물학·보안 질문하면 다른 AI로 전환

논란의 핵심은 모델의 강력한 제한 기능이다.

이용자가 생물무기나 사이버보안 등 민감한 주제를 질문하면 페이블 5는 즉시 경고 메시지를 표시한 뒤 더 낮은 성능의 이전 모델로 대화를 전환한다.

또 고급 AI 개발과 관련된 질문에 대해서는 별도의 안내 없이 답변 품질을 의도적으로 낮춘 것으로 알려졌다.

이는 이용자들이 안전장치가 부족한 다른 AI 시스템을 개발하는 데 활용하지 못하도록 하기 위한 조치라고 회사 측은 설명했다.

앤트로픽은 국가안보와 서비스 약관 준수를 이유로 이러한 제한을 적용했다고 밝혔다.

▲ 개발자들 "숨겨진 제한은 문제" 반발

AI 연구자들과 개발자들은 즉각 반발했다.

일부 전문가들은 앤스로픽이 경쟁사 출현을 막기 위해 기술 접근을 제한하고 있다고 주장했다.

특히 외부 연구자들이 모델 성능을 정확하게 평가하거나 연구에 활용하는 것을 어렵게 만들고 있다는 비판도 나왔다.

논란이 커지자 앤트로픽은 기존에 공개하지 않았던 일부 제한 조치도 이용자에게 표시하겠다고 밝혔다.

회사는 성명을 통해 "숨겨진 안전장치는 분석하거나 우회하기 더 어렵다"며 "잘못된 균형점을 선택했고 이에 대해 사과한다"고 인정했다.

앤트로픽[로이터/연합뉴스 제공]

▲ "미토콘드리아 설명도 거부"

이용자들의 불만은 예상보다 훨씬 광범위하게 나타났다.

일부 사용자들은 수학, 생물학, 화학 등 일반적인 학문 분야 질문까지 차단되고 있다고 주장했다.

심지어 페이블 5 자체의 공개된 시스템 정보 분석 요청도 거부되는 사례가 보고됐다.

한 이용자는 기본적인 세포 구조를 의미하는 "미토콘드리아에 대해 설명해 달라"는 질문에 AI가 답변을 거부한 화면을 공개하기도 했다.

이는 안전장치가 지나치게 광범위하게 작동하면서 정상적인 학술 활동까지 제한하고 있다는 비판으로 이어졌다.

▲ 암 연구자도 사용 불가…"악몽 같은 상황"

미국 잭슨연구소의 면역학자이자 암 연구자인 데리야 우누트마즈(Derya Unutmaz) 역시 공개 직후 모델을 테스트했지만 거의 모든 질문이 차단됐다고 밝혔다.

그는 자신의 이전 대화 기록에 생물학 관련 내용이 포함돼 있었기 때문으로 추정했다.

우누트마즈는 "암이라는 단어는 물론이고 '안녕하세요'라는 말조차 사용할 수 없었다"고 주장했다.

이어 "한 기업이 어떤 질문은 허용하고 어떤 질문은 안보 위협이라고 판단할 수 있다는 것은 매우 위험한 시나리오"라고 비판했다.

▲ 안전성과 연구 자유 사이 딜레마

앤트로픽은 과도한 제한이 일부 존재한다는 점을 인정했다.

회사는 초기 단계에서 악의적 이용자들이 고위험 생물학 연구를 수행하는 것을 막기 위해 생물학 관련 대부분의 질문을 차단할 필요가 있었다고 설명했다.

다만 현재는 불필요한 제한을 줄이기 위한 개선 작업을 진행 중이라고 밝혔다.

이는 AI 기업들이 직면한 대표적인 딜레마를 보여준다.

강력한 AI 모델을 자유롭게 공개할 경우 악용 가능성이 커질 수 있지만, 반대로 지나친 규제는 연구와 혁신을 저해할 수 있기 때문이다.

▲ 생명과학 연구자에겐 제한 완화 검토

앤트로픽은 향후 생명과학 및 바이오 연구 분야에 대해서는 보다 개방적인 접근을 검토하고 있다고 밝혔다.

회사 측은 페이블 5와 같은 미토스급 모델을 생물학 및 생명과학 연구자들에게 안전장치 없이 제공하는 방안을 추진할 계획이라고 설명했다.

이를 통해 신약 개발과 생물의학 연구를 가속화할 수 있을 것으로 기대하고 있다.

다만 일반 이용자와 전문 연구자 간 접근 권한을 어떻게 구분할 것인지, 또 기술 유출 위험을 어떻게 관리할 것인지는 여전히 해결해야 할 과제로 남아 있다.