업스테이지, 차세대 LLM '솔라 프로' 테스트 모델 공개

AI 솔루션 기업 업스테이지가 차세대 LLM ‘솔라 프로’의 기능 일부를 선공개한다.

업스테이지는 오는 11월 출시 예정인 솔라 프로의 초기 테스트 모델 ‘솔라 프로 프리뷰’ 버전을 오픈소스와 무료 API를 통해 공개한다고 11일 밝혔다.

프리뷰 버전은 영어로만 제공되고 입력 토큰 수도 4096자로 제한되지만, API 호출 비용은 전액 업스테이지가 부담한다.

현재 개발 중인 솔라 프로 본체는 220억 개의 매개변수로 기존 ‘솔라 미니’의 매개변수 107억 개보다 두 배 이상 성능이 향상됐다.

기존에는 성능을 높이면 소프트웨어 크기가 크고 무거워졌으나, 업스테이지는 ‘깊이 확장 스케일(DUS)’ 기술을 도입해 1개의 GPU에서도 구동이 가능하도록 소형화했다고 밝혔다.

한편 솔라 프로는 최근 인문학·과학·수학·공학 등 종합 지식을 평가하는 ‘MMLU Pro’, 지시 이행 능력을 평가하는 ‘IFEval’ 등 최신 성능 평가에서 솔라 미니보다 점수를 약 51% 향상한 것으로 알려졌다.

이는 현재 마이크로소프트의 ‘파이-3 미디엄’, 메타의 ‘라마 3.1 8B’, 구글의 ‘젬마 2 27B’ 등 유사 사이즈의 빅테크 모델보다 뛰어난 수준이다.

특히 업스테이지는 매개변수가 3배 이상 큰 ‘라마 3.1 70B’ 등 다중 GPU를 요구하는 LLM과 솔라 프로가 유사한 성능을 보였다고 강조했다.

업스테이지의 차세대 LLM '솔라 프로' 테스트 모델 [업스테이지 제공]

파라미터라고도 불리는 매개변수는 사람의 뇌로 비유했을 때 신경세포 ‘시냅스’에 비견되는 역할로, 매개변수의 개수가 증가할수록 더욱 복잡한 연산이 가능해진다.

이 때문에 다수의 빅테크 기업에서 매개변수 규모를 주된 마케팅 포인트로 선전하지만, 단순 규모로만 성능을 논할 수는 없다는 것이 업스테이지의 설명이다.

일례로 LLM의 문자 인식 단위인 ‘토큰’이나 미세조정 ‘파인튜닝’ 작업을 통해 성능 효율을 높일 수 있다.

업스테이지는 LLM 성능을 극대화하기 위해 자체 개발한 DUS 기술을 사용했는데, 지난 6월 학계에 발표한 자료에 따르면 DUS 기술은 텍스트 입력에서 처리·출력에 이르는 다양한 층위의 신경망을 조합해 성능을 높이는 방법론이다.

현재 업스테이지는 국내외에서 100편이 훨씬 넘는 수의 AI 관련 논문을 발표했으며, NLP(자연어 처리) 분야 컨퍼런스에서 논문 대부분이 정식으로 채택되는 성과를 올렸다.

업스테이지 김성훈 대표는 “솔라는 현재 세계 최고 수준의 LLM으로, 최소의 인프라 비용으로 최대의 성능을 발휘한다”라고 말했다.

이어 “향후 더욱 강력한 차기 모델을 지속적으로 개발할 것”이라고 덧붙였다.