“클라우드 기반 GPU 비용은 하락 중···실제 비용 절감 효과도” 캐스트AI

지난해부터 클라우드 기반 GPU 컴퓨팅 비용이 하락하고 있다. 기업이 연산 자원을 얼마나 유연하게 활용하느냐에 따라 실제 비용 절감 효과를 얻을 수 있다는 분석이 나왔다.

애플리케이션 성능 자동화 플랫폼을 개발하는 캐스트AI(Cast AI)는 최근 보고서를 통해 엔비디아 A100과 H100 GPU 기반 클라우드 컴퓨팅의 비용 구조가 빠르게 변화하고 있다고 밝혔다. 보고서는 아마존웹서비스(AWS), 마이크로소프트(MS) 애저(Azure), 구글 클라우드 플랫폼(GCP) 등 3대 클라우드 업체의 실제 가격과 가용성을 비교 분석했다.

캐스트AI의 설립자이자 CEO인 로랑 질은 오픈AI, 메타, 구글, 앤트로픽 등 소수의 대기업이 여전히 모델 학습을 주도하고 있지만, 즉각적인 비즈니스 효과를 기대할 수 있는 추론 작업에 집중하는 스타트업이 늘고 있다고 설명했다.

질은 “지금 AI의 실제 수익을 창출하는 지점은 추론에 있다. 이제는 과장된 기대에서 현실로 넘어가는 단계에 접어들었다”라고 말했다.

캐스트AI 분석에 따르면, 수요가 높은 AWS H100 GPU 스팟 인스턴스(p5.48xlarge)는 일부 지역에서 가격이 최대 88% 하락한 것으로 나타났다. 2024년 1월 105.2달러였던 비용이 2025년 9월에는 12.16달러 수준까지 떨어졌다. 유럽 지역의 H100 가격도 최대 48% 하락했으며, 피크 시간대 기준 효율성은 2배 가까이 높아졌다.

질은 “이 같은 흐름은 클라우드 업체가 예상보다 더 많은 용량을 보유하고 있을 가능성을 시사한다”라며, 가격 하락이 아마존뿐 아니라 여러 업체에서 동시에 나타나고 있다고 언급했다. 그는 “단순히 필요한 수준보다 많은 재고를 확보하고 있을 수도 있다”라고 말했다.

이런 흐름은 GPU 생태계가 재편되고 있음을 보여준다. 엔비디아가 최근 내놓은 GB200 블랙웰(Blackwell) 프로세서 같은 최상위급 칩은 여전히 극심한 공급난을 겪고 있는 반면, A100·H100 같은 이전 세대 모델은 가격이 내려가고 가용성도 빠르게 확대되고 있다. 그러나 많은 고객이 실제 업무에 필요한 성능 수준과는 별개로 최신 GPU만을 선택하는 모습도 확인된다. 질은 “놓칠지 모른다는 불안감(FOMO) 때문에 최신 GPU만을 찾는 기업이 많다. 챗GPT도 이전 세대 아키텍처로 구축됐지만, 성능 문제를 제기하는 사람은 없었다”라고 말했다.

질은 클라우드 GPU 자원을 효율적으로 관리하려면 운영적·지리적 민첩성이 모두 필요하다고 강조했다. 스팟 용량은 시간 또는 분 단위로 변하고, 데이터센터 지역마다 가용성도 크게 차이 나기 때문이다. 캐스트AI에 따르면, AI 기반 자동화를 활용해 지역 간 워크로드를 동적으로 이동할 수 있는 기업은 최대 80%까지 비용을 줄일 수 있는 것으로 나타났다.

그는 “더 쉽고 저렴하게 GPU를 구할 수 있는 지역으로 워크로드를 옮긴다면, 그렇게 하지 못하는 기업보다 비용을 5분의 1 수준으로 줄일 수 있다. 사람이 이 변화를 실시간으로 따라잡기는 어렵기 때문에 자동화가 필수적”이라고 설명했다.

캐스트AI도 AI 기반 자동화 솔루션을 제공하고 있다. 다만 이런 제품은 캐스트AI만의 것은 아니며, 질의 설명 역시 기술적 관점에서 충분히 설득력을 갖는다. 스팟 가격이 더 저렴한 지역이 존재한다면, 기업 입장에서는 해당 자원을 활용해 클라우드 비용을 낮추는 것이 합리적이기 때문이다.

질은 엔지니어와 CTO가 특정 지역이나 클라우드 업체에 고정된 인프라 운영 방식에서 벗어나, 유연성과 자동화를 적극적으로 도입해야 한다고 조언했다. 그는 “이 경쟁에서 앞서고 싶다면 시스템이 스스로 조정되며 가용한 용량을 찾아 움직일 수 있어야 한다. 그래야 AI 인프라를 지속 가능한 구조로 만들 수 있다”라고 말했다.
dl-ciokorea@foundryco.com