노타[486990]가 LG AI연구원의 2,360억개 파라미터 대형언어모델(LLM) 'K-엑사원' 236B를 국산 NPU(신경망처리장치) 환경에서 무려 71% 경량화하고 원본 모델과 유사한 수준의 정확도까지 유지하는 데 성공하며 국내 AI 인프라 효율 혁신에 새 지평을 열었다.
이번 최적화는 퓨리오사AI의 데이터센터용 NPU 환경에 맞춰 진행됐다. 노타의 최적화 기술은 2,360억개 파라미터에 달하는 대규모 K-엑사원 236B 모델의 크기를 약 71% 줄이면서도 주요 성능 지표를 원본 모델과 유사한 수준으로 유지하는 놀라운 성과를 보였다.
특히, 이번 최적화는 '전문가 혼합(MoE)' 구조를 채택한 모델에 적용됐다는 점에서 기술적 난이도와 중요성이 부각된다. MoE 구조 모델은 복잡성과 함께 대규모 메모리를 요구해 경량화가 쉽지 않다. 노타의 기술은 대형 AI 모델 구동의 메모리 부담을 획기적으로 낮춰 데이터센터 AI 인프라의 운영 효율성을 크게 높일 가능성을 제시했다.
[사진=연합뉴스]
채명수 노타 대표는 이번 성과에 대해 「국산 NPU, AI 모델, 최적화 기술의 결합이 대형 AI 모델의 실제 운영 가능성을 확인한 중요한 사례」라고 평가했다. 이어 채 대표는 「소버린 AI가 주목받는 흐름 속에서 중요한 것은 모델, 반도체, 최적화 소프트웨어가 하나의 실행 가능한 AI 인프라로 연결되는 것」이라며 국내 기술 협력의 중요성과 비전을 강조했다.
