구글이 인공지능(AI) 반도체 경쟁에서 새로운 승부수를 던졌다.

22일(현지 시각) 월스트리트저널(WSJ)에 따르면 구글의 모회사 알파벳은 AI 모델의 학습이 아닌 '추론(Inference)' 단계에 최적화된 새로운 컴퓨터 프로세서를 개발했다.

소프트웨어를 작성하고 다양한 작업을 수행하는 'AI 에이전트'를 기업들이 도입하면서 추론 연산 수요가 폭발적으로 증가한 데 따른 전략적 선택이다.

▲ ‘학습’에서 ‘추론’으로의 패러다임 전환... 에이전트 시장 정조준

구글은 이번 주 라스베이거스에서 열리는 기업 행사에서 8세대 텐서 프로세싱 유닛(TPU)을 공개할 예정이다.

구글은 이미 수년 전부터 추론 전용 칩을 개발해 왔으며, 최근 몇 달간 소수의 AI 기업을 대상으로 성능 테스트를 진행했다. 구글은 추론용 칩과 별개로 AI 모델에 데이터를 학습시키는 '트레이닝' 전용 칩도 함께 선보인다.

토마스 쿠리안 구글 클라우드 최고경영자(CEO)는 추론이 뒷받침되지 않으면 학습 비용을 감당할 수 없다고 강조했다.

그는 결과적으로 추론 시장이 학습 시장만큼 커지거나 그보다 더 비대해질 것으로 전망했다. 이는 단순히 모델을 만드는 단계를 넘어, 실질적인 서비스 구현 단계에서의 효율성이 미래 AI 산업의 핵심이 될 것임을 시사한다.

▲ ‘메모리 벽’ 허물고 지연 시간 단축... GPU 한계 극복

이번 신형 칩 개발은 구글의 맞춤형 반도체 사업과 시장 선두주자인 엔비디아 간의 경쟁을 더욱 가속화할 전망이다.

엔비디아의 그래픽 처리 장치(GPU)는 수조 개의 작업을 동시에 수행할 수 있어 학습에는 탁월하지만, 추론 단계에서는 전력 효율과 데이터 접근 속도 면에서 도전 과제에 직면해 있다.

특히 추론 연산은 GPU보다 원시 연산력은 덜 필요하지만 더 많은 메모리를 요구한다. 메모리가 부족하면 칩이 데이터에 빠르게 접근하지 못해 모델의 응답이 늦어지는 이른바 '메모리 벽(memory wall)' 현상이 발생한다.

구글 클라우드 인프라 담당 부사장인 마크 로메이어는 고객들이 가장 중요하게 생각하는 것은 모델이 응답을 생성하는 데 걸리는 '지연 시간(latency)'을 줄이는 것이라고 밝혔다.

▲ AI 에이전트 시대의 도래와 구글의 반도체 10년 뚝심

AI 에이전트에게 보내는 단일 요청은 단순 챗봇 쿼리보다 20~50배 더 많은 추론 트랜잭션을 발생시킨다. 에이전트는 단순히 답변을 생성하는 것에 그치지 않고 스스로 수많은 작업을 수행하기 때문이다.

구글은 이러한 고부하 작업에 최적화된 내부 칩을 지난 10년 넘게 설계해 왔다.

초기 데이터 센터용으로 사용되던 TPU는 현재 제미나이(Gemini) 챗봇과 나노 바나나(Nano Banana) 이미지 생성기 등 구글의 핵심 생성형 AI 모델을 훈련하고 실행하는 데 핵심적인 역할을 하고 있다.

구글은 맞춤형 칩 전문 기업인 브로드컴과 파트너십을 맺고 매세대 TPU를 설계해 왔으며, 지난해에는 7세대 TPU인 '아이언우드(Ironwood)'를 출시한 바 있다.

▲ 클라우드 넘어 외부 판매까지... 지각 변동 예고

업계에서는 구글이 TPU를 외부 시장에 본격적으로 상업화할지 주목해 왔다. 구글은 이미 앤트로픽(Anthropic)에 약 100만 개의 칩 접근 권한을 부여하고, 메타(Meta)와도 대규모 계약을 체결하는 등 행보를 넓히고 있다.

최근에는 클라우드 부문의 핵심 엔지니어였던 아민 바닷을 AI 인프라 최고 기술 책임자로 승진시켜 TPU 사업과 제미나이 모델 개발을 직접 총괄하게 했다.

바닷 책임자는 최근 구글 클라우드 플랫폼 외부에서 TPU를 사용하고자 하는 고객들의 수요가 점점 더 늘어나고 있다고 밝혔다.