하드웨어 넘어 소프트웨어로…소프트뱅크, AI 데이터센터 운영 플랫폼 공개

소프트뱅크는 AI 데이터센터 운영을 위한 소프트웨어인 인프리니아(Infrinia) AI 클라우드 OS를 20일 출시했다. 이 소프트웨어는 인프라 관리 전반을 자동화하고 대규모 언어 모델 추론 서비스를 제공하도록 설계됐다.

인프리니아 AI 클라우드 OS는 엔비디아의 GB200 NVL72를 포함한 GPU 플랫폼에서 BIOS 설정부터 쿠버네티스 관리까지 전 과정을 처리한다.

소프트뱅크는 21일 보도자료를 통해 “인프리니아 AI 클라우드 OS를 도입하면 AI 데이터센터 운영자는 멀티 테넌트 환경에서 쿠버네티스 서비스(KaaS)를 구축하고, API를 통해 대규모 언어 모델 추론 기능을 제공하는 추론 서비스(Inf-aaS)를 자체 GPU 클라우드 서비스의 일부로 제공할 수 있다”고 설명했다.

소프트뱅크는 GPU 클라우드 서비스를 운영하는 과정에서 발생하는 복잡한 운영 문제를 해결하기 위해 이 소프트웨어를 개발했다고 밝혔다.

또한 맞춤형 솔루션이나 자체 개발 방식과 비교해 총소유비용(TCO)과 운영 부담을 줄일 수 있을 것으로 기대된다고 설명했다.

포레스터의 부사장 겸 수석 애널리스트인 찰리 다이는 이번 출시가 소프트뱅크가 하드웨어를 넘어 GPU 클라우드 소프트웨어 계층으로 사업 영역을 확장했음을 의미한다고 분석했다. 그는 “이번 행보는 소프트뱅크를 순수 인프라 운영자에서 AI 네이티브 플랫폼 수준의 경쟁자로 끌어올린다”고 평가했다.

기업이 직면한 운영 과제 대응

소프트뱅크에 따르면 이 소프트웨어는 두 가지 핵심 서비스를 제공한다. 쿠버네티스 서비스 구성 요소는 BIOS와 RAID 설정부터 운영체제, GPU 드라이버, 네트워크, 쿠버네티스 컨트롤러, 스토리지에 이르기까지 전체 스택을 자동화한다.

소프트뱅크는 사용자가 클러스터를 생성하거나 수정, 삭제할 때 엔비디아 NVLink를 활용해 물리적 연결과 메모리 할당을 재구성한다. 시스템은 GPU 간 근접성과 NVLink 도메인 구성을 기준으로 노드를 할당해 지연 시간을 줄이도록 설계됐다.

포레스터의 다이는 현재 기업들이 GPU 클러스터 구축, 쿠버네티스 라이프사이클 관리, 추론 확장, 인프라 튜닝 등에서 높은 수준의 전문성을 요구받고 있다고 분석했다.

다이는 소프트뱅크의 자동화 접근 방식이 BIOS부터 쿠버네티스까지의 설정을 처리하고 GPU 인터커넥트를 최적화하며, 추론 기능을 API 기반 서비스로 추상화함으로써 이러한 문제를 해결한다고 설명했다. 이를 통해 조직은 인프라 유지 관리보다 모델 개발에 집중할 수 있다고 전했다.

소프트뱅크에 따르면 추론 서비스 구성 요소는 사용자가 쿠버네티스나 하위 인프라를 직접 설정하지 않고도 대규모 언어 모델을 선택해 추론 서비스를 배포할 수 있도록 지원한다. 오픈AI와 호환되는 API를 제공하며, GB200 NVL72를 포함한 플랫폼에서 다중 노드 확장이 가능하다.

또한 이 소프트웨어에는 암호화된 통신을 기반으로 한 테넌트 격리 기능과 자동화된 시스템 모니터링 및 장애 조치, 포털·고객 관리·과금 시스템과 연동하기 위한 API가 포함돼 있다.

성장하는 시장과 심화되는 경쟁

이번 출시는 2025년 82억 1,000만 달러(약 12조 원)에서 2030년 266억 2,000만 달러(약 369조 원)로 성장할 것으로 예상되는 시장에서 소프트뱅크가 본격적으로 경쟁에 나서는 계기가 될 것으로 보인다.

소프트뱅크는 하이퍼스케일 클라우드 사업자와 특화 GPU 벤더와의 경쟁에 직면해 있다. AWS, 마이크로소프트 애저, 구글 클라우드는 각각 EKS, AKS, GKE를 통해 GPU를 지원하는 관리형 쿠버네티스 서비스를 제공하고 있다. 코어위브, 람다 랩스, 런팟 등 특화 사업자도 유사한 운영 과제를 겨냥한 쿠버네티스 네이티브 플랫폼을 구축해 왔다.

코어위브는 4만 5,000개의 GPU를 운영하며 엔비디아의 첫 엘리트 등급 클라우드 서비스 제공업체로 알려져 있다. 컨트래리 리서치에 따르면, 람다 랩스는 2024년 4억 2,500만 달러(약 6,249억 원)의 매출을 기록했으며, H100 인스턴스를 시간당 2.49달러에 제공하고 있다.

포레스터의 다이는 소프트뱅크의 소프트웨어 중심 접근 방식이 GPU 확보에서 플랫폼 자동화로 경쟁 우위의 축이 이동하고 있음을 보여준다고 분석했다. 그는 “GPU 서비스 수요가 가속화되면서 차별화 요소는 지능형 오케스트레이션, 추론 추상화, 통합된 AI 라이프사이클 도구에 점점 더 의존하게 된다”고 설명했다. 또한 시장이 단순 연산 자원 제공을 넘어 풀스택 AI 네이티브 클라우드 플랫폼으로 이동하고 있다고 진단했다.

도입 전략

소프트뱅크는 우선 자사 GPU 클라우드 서비스에 해당 소프트웨어를 적용한 뒤 외부 고객으로 확대할 계획이다. 회사에 따르면 인프리니아 팀은 해외 데이터센터와 클라우드 환경에도 소프트웨어를 배포하는 것을 목표로 하고 있다.

소프트뱅크의 미야카와 준이치 대표는 “AI 인프라의 발전에는 GPU 서버와 스토리지 같은 물리적 구성 요소뿐 아니라, 이 자원을 통합해 유연하고 대규모로 제공할 수 있는 소프트웨어가 필요하다”고 설명했다. 소프트뱅크는 이 소프트웨어가 맞춤형 솔루션이나 자체 개발 방식과 비교해 총소유비용과 운영 부담을 줄이는 것을 목표로 한다고 밝혔다. 다만 가격과 구체적인 제공 시점은 공개하지 않았다.
dl-ciokorea@foundryco.com