인공지능(AI) 산업의 중심축이 모델 개발 경쟁에서 실제 서비스 운영을 위한 추론(Inference) 시장으로 이동하면서 새로운 승자가 등장하고 있다.

18일(현지 시각) 월스트리트저널(WSJ)에 따르면 AI 인프라 기업 베이스텐(Baseten)이 130억 달러(약 19조 9800억원) 규모 기업가치 평가를 받으며 대규모 투자 유치에 나선 가운데, 업계에서는 오픈AI와 앤트로픽 중심의 AI 시장 구조에 변화가 나타나고 있다는 분석이 제기됐다.

특히 비용 효율성이 뛰어난 오픈소스 AI 모델 수요가 급증하면서 이를 지원하는 인프라 기업들의 가치도 빠르게 상승하고 있는 것으로 나타났다.

▲ AI 산업 중심축, 모델에서 추론으로 이동

올해 AI 업계의 핵심 화두는 '추론(Inference)'이었다.

추론은 AI 모델이 사용자의 질문에 답하거나 업무를 수행하기 위해 실제 연산을 수행하는 과정이다.

지금까지 시장은 대규모 언어모델(LLM) 개발 경쟁에 집중됐지만, 최근에는 AI를 얼마나 효율적으로 운영하고 비용을 절감할 수 있는지가 새로운 경쟁력으로 떠올랐다.

이 같은 흐름 속에서 베이스텐은 기업들이 오픈소스 AI 모델을 보다 쉽게 활용할 수 있도록 지원하는 플랫폼 사업을 확대하며 주목받고 있다.

회사는 현재 15억 달러 규모 신규 투자 유치를 마무리하고 있으며, 일부 투자자는 110억 달러, 다른 투자자는 130억 달러 기업가치를 기준으로 투자에 참여하는 것으로 알려졌다.

▲ 오픈AI·앤트로픽 의존도 낮추려는 기업들

그동안 AI 시장은 오픈AI와 앤트로픽 같은 대형 AI 연구소가 주도해 왔다.

이들 기업은 자체 개발한 폐쇄형(Closed-source) 모델을 제공하면서 동시에 모델 운영에 필요한 컴퓨팅 인프라까지 함께 지원해 왔다. 고객 입장에서는 별도의 인프라 구축 없이 AI를 사용할 수 있다는 장점이 있었다.

하지만 이러한 편의성에는 높은 비용이 수반됐다.

최근 기업들은 급증하는 AI 운영비 부담을 줄이기 위해 상대적으로 저렴한 오픈소스 모델 활용 방안을 적극 검토하고 있다.

베이스텐 공동창업자이자 최고경영자(CEO)인 투힌 스리바스타바는 "오픈AI나 앤트로픽은 모델뿐 아니라 추론 인프라까지 함께 제공한다"며 "기업들은 그동안 이를 사실상 무료 서비스처럼 이용해 왔다"고 설명했다.

▲ 오픈소스 모델 성능 향상으로 시장 변화

AI 산업 구조 변화의 가장 큰 배경은 오픈소스 모델의 성능 향상이다.

과거에는 오픈소스 모델과 최첨단 폐쇄형 모델 간 성능 차이가 컸지만 최근 들어 격차가 빠르게 줄어들고 있다.

오픈소스 모델은 누구나 무료로 내려받아 수정하거나 특정 목적에 맞게 최적화할 수 있다는 장점이 있다. 기업 입장에서는 라이선스 비용 부담 없이 자체 서비스를 구축할 수 있는 셈이다.

다만 문제는 컴퓨팅 인프라다.

오픈소스 모델은 모델 자체만 제공될 뿐 실제 서비스 운영에 필요한 서버와 추론 시스템은 별도로 구축해야 한다. 베이스텐은 바로 이 지점을 공략하고 있다.

▲ 베이스텐, AI 인프라 시장 핵심 플레이어 부상

베이스텐은 현재 20개 이상의 클라우드 사업자로부터 확보한 컴퓨팅 자원 위에 자체 추론 소프트웨어 플랫폼을 구축했다.

기업 고객들은 베이스텐 플랫폼을 통해 오픈소스 모델을 실행하고 최적화하며 자사 데이터를 활용한 추가 학습까지 수행할 수 있다.

쉽게 말해 AI 모델과 실제 서비스 운영 환경을 연결하는 중간 인프라 역할을 담당하는 것이다.

업계에서는 AI 모델 경쟁이 치열해질수록 이러한 인프라 기업의 중요성이 더욱 커질 것으로 전망하고 있다.

인공지능[로이터/연합뉴스 제공]

▲ 추론 전문 기업들 몸값 급등

베이스텐만 성장하고 있는 것은 아니다.

추론 전용 AI 반도체를 개발한 세레브라스(Cerebras)는 지난 5월 성공적인 기업공개(IPO)를 진행하며 현재 시가총액이 약 500억 달러에 달하는 것으로 평가받고 있다.

또 다른 AI 추론 스타트업인 파이어웍스 AI(Fireworks AI)는 지난해 40억 달러 기업가치로 투자 유치에 성공했다.

2023년 설립된 코딩 AI 기업 팩토리(Factory) 역시 올해 15억 달러 기업가치를 인정받으며 시장의 기대를 모았다.

이는 AI 산업에서 추론 시장이 새로운 성장 영역으로 부상하고 있음을 보여주는 사례로 평가된다.

▲ 중국 오픈소스 AI 약진도 변수

현재 가장 주목받는 오픈소스 AI 모델은 중국 기업들이 주도하고 있다.

딥시크(DeepSeek)와 문샷 AI(Moonshot AI)의 '키미(Kimi)' 등이 대표적 사례다.

미국 기업들도 시장 주도권 확보에 나서고 있다. 엔비디아는 최근 '네모트론(Nemotron)'이라는 오픈소스 AI 모델 시리즈를 공개하며 경쟁에 뛰어들었다.

투자업계는 최첨단 모델과 오픈소스 모델 간 격차가 수개월 수준으로 좁혀질 경우 상당수 기업들이 비용 절감을 위해 오픈소스 모델을 선택할 가능성이 높다고 분석했다.

▲ 비용 절감 효과가 최대 경쟁력

베이스텐이 주목받는 가장 큰 이유는 비용 절감 효과 때문이다.

현재 대부분 기업들은 오픈소스 모델과 폐쇄형 모델을 혼합해 사용하고 있다.

복잡하고 중요한 작업은 오픈AI나 앤트로픽 모델이 담당하고, 상대적으로 단순한 업무는 오픈소스 모델이 처리하는 방식이다.

이 경우 AI 운영 비용을 크게 줄일 수 있다.

스리바스타바 CEO는 한 고객사의 사례를 언급하며 "특정 작업을 수행할 때 폐쇄형 모델을 사용할 때보다 비용을 70%나 절감했다"고 밝혔다.

그는 "시장 전반에서 오픈소스 모델의 성능이 매우 빠르게 향상되고 있다"며 "오픈소스가 발전할수록 이를 기반으로 한 베이스텐의 서비스 역시 함께 성장하고 있다"고 강조했다.