네이버클라우드가 독자 AI 파운데이션 모델 개발 프로젝트 논란의 핵심이었던 중국 비전 인코더를 완전히 배제하고 자체 개발한 기술을 전면 적용한다. 이는 중국 오픈소스 인코더 사용으로 제기된 독자성 논란을 해소하고 한국어·문화 맥락에 최적화된 멀티모달 경쟁력을 확보하기 위한 전략이다.

네이버클라우드가 오는 4월부터 자사 AI 모델에 적용될 독자 개발 비전 인코더를 완성했다. 이는 '독자 AI 파운데이션 모델'(독파모) 개발 과정에서 논란의 중심이었던 외부 인코더 의존도를 완전히 탈피하겠다는 의지를 보여준다. 이번 결정은 단순히 기술적인 문제 해결을 넘어, 네이버 AI의 독자성과 글로벌 경쟁력 강화를 위한 전략적 행보로 풀이된다.

▲ 자체 비전 인코더 개발 완료 및 적용 착수

네이버클라우드는 지난달 초 독자적인 비전 인코더 개발을 완료했으며, 향후 개발될 멀티모달 모델 전반에 이를 적용하기 위한 내재화 작업을 시작했다. 비전 인코더는 이미지와 영상 정보를 AI가 이해할 수 있는 형태로 변환하는 핵심 기술로, 텍스트, 이미지, 음성, 영상 등 다양한 데이터를 종합적으로 다루는 멀티모달 모델의 '시신경'과 같은 역할을 한다. 이번에 개발된 비전 인코더는 기존 자체 기술인 'VUClip' 대비 성능이 대폭 향상되었으며, 오픈소스 생태계에서 검증된 최상위권 모델들의 인코더와 유사한 수준의 성능을 확보한 것으로 알려졌다.

▲ '프롬 스크래치' 논란 해소와 독자성 확보

앞서 네이버클라우드는 올해 초 정부 주도의 독파모 프로젝트 참여 과정에서 자사 멀티모달 모델 '하이퍼클로바X 시드 32B 싱크'에 알리바바의 큐웬 2.5 모델 비전 인코더와 가중치를 일부 차용한 사실이 알려지면서 '프롬 스크래치'(From Scratch) 원칙에 위배된다는 비판을 받은 바 있다. 당시 네이버클라우드는 비전 인코더가 교체 가능한 영역이라고 해명했으나, 이번 자체 개발 인코더 전면 적용 결정으로 이러한 독자성 논란을 정면으로 해소하고 '프롬 스크래치' 원칙을 준수하겠다는 입장을 명확히 했다. 다만, 이미 오픈소스로 배포된 '하이퍼클로바X 시드 32B 싱크' 모델의 인코더 교체 여부는 아직 미정인 것으로 전해졌다.

▲ 한국 문화 맥락 최적화 AI 경쟁력 강화

이번에 개발된 자체 비전 인코더는 AI 학습 단계부터 한국어를 중심으로 훈련되어 별도의 번역 과정 없이 이미지와 한국어를 직접 연결하는 구조를 갖춘 것이 특징이다. 이는 기존 글로벌 인코더들이 '하르방' 이미지를 단순히 '석상'(Statue)으로 인식하는 한계점을 넘어, 네이버 모델이 이미지를 즉시 '하르방'이라는 한글 단어로 인식할 수 있게 한다. 네이버클라우드 관계자는 "한국어와 이미지를 직접 연결하도록 설계되어 정보 왜곡 없이 우리나라 문화 특유의 맥락을 읽어낼 수 있다"며, "한국의 지리, 문화, 고유 명사가 포함된 시각 데이터를 다룰 때 외산 모델과 차별화된 독보적인 정확도를 제공할 것"이라고 강조했다. 이러한 자체 기술력 확보는 한국어와 한국 문화에 대한 깊이 있는 이해를 바탕으로 한 인공지능 서비스 경쟁력을 한층 강화할 것으로 기대된다.