오픈AI, 세레브라스와 초대형 계약 체결···AI 추론 인프라 확장 나서

오픈AI는 AI 칩 스타트업 세레브라스 시스템즈(Cerebras Systems)로부터 컴퓨팅 용량을 구매하는 수십억 달러 규모의 계약을 체결했다고 14일 밝혔다. 챗GPT 개발사인 오픈AI는 급증하는 사용자 수요에 대응하고, 데이터센터와 네트워크 자원에 가해지는 부담이 커지는 상황에서 충분한 인프라를 확보하기 위한 조치라고 설명했다.

이번 계약에 따라 오픈AI는 세레브라스가 설계한 칩을 활용해 챗GPT 추론 워크로드 일부를 운영하게 된다. 월스트리트저널(WSJ)의 14일 보도에 따르면 오픈AI는 3년에 걸쳐 최대 750메가와트 규모의 컴퓨팅 용량을 구매하기로 약정했다.

이번 행보는 대규모 AI 서비스가 전력 수급, 네트워킹, 데이터센터 간 연결성에 상당한 부담을 주고 있음을 보여준다. 오픈AI는 엔비디아의 지배적인 GPU보다 더 빠르고 비용 효율적인 대안을 찾고 있다.

오픈AI 경영진은 회사가 컴퓨팅 용량 제약에 직면해 있다고 지속적으로 경고해 왔다. 현재 오픈AI의 도구는 매주 8억 명이 넘는 사용자가 이용하고 있다. 이로 인해 인프라를 확장하기 위해 더 많은 파트너가 필요하다는 판단이 나오고 있다.

세레브라스와의 계약은 오픈AI가 인프라를 다각화하기 위해 추진해 온 일련의 노력의 연장선에 있다. 오픈AI는 브로드컴과 맞춤형 AI 칩을 개발하고 있으며, AMD의 최신 가속기 도입도 계획하고 있다. 이는 비용을 억제하고 엔비디아에 대한 의존도를 낮추기 위한 전략이다.

AI 인프라 재설계

오픈AI가 전용 추론 용량에 대규모로 투자한 것은 대형 AI 플랫폼들이 단일 가속기 모델을 넘어, 지연 시간에 민감한 워크로드를 지원하기 위해 인프라를 재구성하고 있음을 보여준다.

애널리스트들은 향후 AI 워크로드가 더욱 다양해지고 요구 수준도 높아질 것으로 보고 있다. 이에 따라 추론 성능에 최적화된 아키텍처에 대한 필요성이 커지고 있으며, 데이터센터 네트워크에 가해지는 부담도 한층 가중될 전망이다.

컨설팅 기업 카운터포인트리서치의 리서치 부문 부사장 닐 샤는 “이러한 변화로 하이퍼스케일러는 컴퓨팅 시스템을 다각화하고 있다”라며 “범용 AI 워크로드에는 엔비디아 GPU를 활용하고, 고도로 최적화된 작업에는 자체 AI 가속기를, 초저지연이 요구되는 특화 워크로드에는 세레브라스와 같은 시스템을 사용하는 방식”이라고 설명했다.

이로 인해 하이퍼스케일 환경에서 운영되는 AI 플랫폼은 단일하고 범용적인 클러스터에서 벗어나, 보다 계층화되고 이기종이 혼합된 인프라 전략으로 인프라 제공업체를 압박하고 있다.

사이버미디어리서치 산업연구그룹의 부사장 프라부 람은 “오픈AI가 세레브라스 기반 추론 용량을 도입한 것은 AI 데이터센터 설계 방식 전반에서 나타나는 광범위한 변화를 반영한다”라며 “이는 엔비디아를 대체하기 위한 움직임이라기보다, 추론이 확대되면서 나타나는 다각화 흐름에 가깝다”라고 분석했다.

람은 이 정도 규모에 이르면 인프라는 AI 공장과 유사한 형태를 띠게 된다며, 도시 규모의 전력 공급과 고밀도 동서 트래픽 네트워킹, 저지연 인터커넥트가 최대 연산 성능(FLOPS)보다 더 중요해진다고 설명했다.

테크인사이츠의 반도체 애널리스트 마니시 라왓은 “이 수준에서는 기존의 랙 밀도, 냉각 모델, 계층형 네트워크가 더 이상 실용적이지 않다”라며 “추론 워크로드는 학습처럼 간헐적으로 발생하는 작업이 아니라 지속적이고 지연에 민감한 트래픽을 생성하기 때문에, 더 평평한 네트워크 토폴로지와 고차수 스위칭, 연산·메모리·인터커넥트의 긴밀한 통합을 요구한다”라고 전했다.

규모 확장에 따른 복잡성 증가

엔비디아의 GPU 기반 모델은 여전히 업계 표준으로 자리 잡고 있지만, AI 클러스터가 확장될수록 특히 인터커넥트 수요가 늘어나면서 구조는 점점 더 복잡해지고 전력 효율성도 떨어지고 있다.

람은 “세레브라스의 웨이퍼 스케일 아키텍처는 다중 GPU 패브릭에서 필연적으로 발생하는 통신 오버헤드(여러 GPU가 데이터를 주고받는 과정에서 발생하는 통신 지연과 자원 소모)를 줄여 추론 처리량과 비용 측면에서 잠재적인 이점을 제공한다”라고 설명했다.

다만 애널리스트들은 인프라 다각화가 자체적인 운영 과제를 동반한다고 경고한다.

라왓은 “이러한 변화는 운영 복잡성을 높인다”며 “이기종 가속기를 운영하려면 여러 소프트웨어 스택과 서로 다른 장애 유형을 관리해야 하고, 데이터센터 전반에서 더 복잡한 용량 오케스트레이션이 필요하다”고 언급했다.

오픈AI는 수요 변동성이 큰 환경에서 특화된 컴퓨팅 용량에 대한 장기적 투자 약정을 맞추는 동시에, 워크로드를 실시간으로 가장 효율적인 가속기로 동적으로 분산해야 하는 과제에 직면해 있다. 이를 위해 오케스트레이션과 자원 활용에서 발생할 수 있는 공백을 최소화하는 것이 핵심 과제로 꼽힌다.

인프라를 여러 아키텍처로 분산하면서 이러한 투자 자산의 수명 주기를 관리하는 문제도 또 다른 부담이다. 샤는 “실리콘의 수명 주기인 18~24개월과 시설의 수명 주기인 15~20년 사이의 격차가 점점 벌어지고 있다”며 “칩 혁신 속도를 고려하면, 100억 달러(약 13조 원)를 넘는 특화 하드웨어가 데이터센터가 완전히 가동되기도 전에 기술적으로 구식이 될 위험이 있다”고 지적했다.

AI 인프라가 확장될수록 전력, 냉각, 네트워킹이 지배적인 제약 요인으로 부상하고 있다. 람은 “컴퓨팅 아키텍처를 전력망 규모의 전력 공급과 효율적인 데이터 이동에 맞출 수 있는 벤더가 차세대 AI 인프라의 방향을 규정하게 될 것”이라고 전했다.
dl-ciokorea@foundryco.com