“실험 끝난 AI는 다시 온프레미스로” 퍼블릭 클라우드를 재평가하는 CIO

데이터 옵저버빌리티 전문업체 프루브 AI(Prove AI)의 CTO 그렉 웨일런은 “퍼블릭 클라우드는 AI 실험을 위해 대규모 GPU를 빠르게 확보할 수 있는 유연성을 제공하지만, AI 전략이 성숙하고 예측 가능한 워크로드로 자리 잡으면 지출을 제한하고 데이터 프라이버시를 보호하기 위해 프라이빗 클라우드나 온프레미스 환경을 선택하려는 CIO가 늘고 있다”라고 말했다.

프루브 AI가 미국과 캐나다의 기업 리더 1,000명을 대상으로 실시한 최근 설문조사에 따르면, 향후 12개월 이내에 일부 AI 데이터를 클라우드 외의 환경으로 이전할 계획이라는 응답이 67%에 달했다. 이번 조사에서 비용 예측 가능성과 데이터 프라이버시 우려 외에도, 보안 문제와 SaaS 환경과의 클라우드 통합 문제 등이 주요 이유로 나타났다..

웨일런은 “안정적인 AI 워크로드를 운영하는 기업은 퍼블릭 클라우드에서 시간 단위로 GPU를 임대하기보다 GPU서버를 몇 대 구매해 프라이빗 클라우드에 설치하는 편이 비용을 절약할 수 있다”라고 설명했다. 또한 “IT 리더가 수요를 정확히 추산할 수 있다면 자체 GPU를 충분히 활용할 수 있어 유휴 시간이 거의 없다”라고 덧붙였다.

정교한 파인튜닝을 하거나 RAG 모델을 커스터마이징하는 워크로드는 지속적인 GPU 연산이 필요하며, 모델을 평가하거나 실행하는 상황에서도 워크로드는 크게 들쭉날쭉하지 않는다. 웨일런은 “기업이 GPU를 보유해도 10%만 활용한다는 이야기를 하는데, 실제로는 그렇지 않다”라며, “대부분의 워크로드는 학습이고, 이 과정은 매우 연속적이며 일정한 주기로 돌아간다. GPU를 활용할 일이 분명히 생긴다”라고 강조했다.

증가하는 프라이빗 클라우드 지출

프루브 AI의 조사는 온프레미스 컴퓨팅에 대한 관심을 확인할 수 있는 한편, 또 다른 조사는 퍼블릭 클라우드보다 빠른 속도로 프라이빗 클라우드 지출이 증가하고 있다는 것을 보여준다.

네트워킹 및 보안 전문업체 GTT 커뮤니케이션즈가 실시한 조사에 따르면, 퍼블릭 클라우드에 1,000만 달러 이상을 지출할 계획인 기업의 비율이 2024년에서 2025년 사이 12% 증가한 것으로 나타났다. 그러나 프라이빗 클라우드에 1,000만 달러 이상을 지출할 계획인 조직의 비율은 2023년 36%에서 2024년 43%, 2025년에는 54%까지 증가해, 퍼블릭 클라우드보다 2배나 높은 성장률을 보였다.

GTT는 현재 AI 워크로드의 절반 이상이 프라이빗 클라우드와 온프레미스 환경에 혼합 배치되고 있다고 분석하며, 보안, 규제 준수, AI 워크로드의 특수성이 퍼블릭 클라우드의 대안 선택을 이끄는 요인이라고 설명했다.

GTT의 전략·기술 채택 부문 부사장 바스티앵 아에르니는 “규제 및 컴플라이언스 문제가 프라이빗 클라우드나 온프레미스 솔루션으로 옮겨가는 중요한 이유가 된다”라며, “민감한 워크로드를 프라이빗 클라우드에 이전하면서 멀티클라우드 및 하이브리드 전략을 활용해 에이전틱 AI 등 복잡한 AI 프로젝트를 지원하는 추세”라고 설명했다.

또한 “대부분 AI는 기밀 데이터나 비즈니스 핵심 데이터를 다루기 때문에 어떤 워크로드를 퍼블릭 클라우드에 둘지, 프라이빗 또는 온프레미스에 둘지 고민해야 하는 상황이 됐다”라고 덧붙였다.

퍼블릭 클라우드는 여전히 AI 프로젝트를 위한 최대의 확장성을 제공하며, 퍼블릭 클라우드에 포함된 다양한 기능과 도구는 AI 프로젝트를 추진하는 CIO에게는 매력적인 요소였다. 아에르니는 “5년 전쯤 CIO들과 이야기할 때는 ‘퍼블릭 클라우드에는 정말 많은 기능과 툴이 있다’는 말을 자주 들었다. 하지만 지금은 ‘사실 그런 기능을 많이 쓰지 않는다’란는 이야기가 나온다. 이제는 안정성과 예측 가능성을 중시하고 있다”고 전했다.

조용한 이탈

업게 전문가들은 AI로 인한 높은 컴퓨팅 수요 덕분에 퍼블릭 클라우드는 여전히 성장하고 있으며, 대규모 이탈이 일어나지는 않을 것으로 본다. 클라우드 컨설팅 전문 업체 조이 노스아메리카(Zoi North America)의 총괄 책임자 다닐로 키르슈너는 “클라우드 송환(Repatriation)은 진행되고 있지만, 기업이 퍼블릭 클라우드를 완전히 버리는 것은 아니다”라고 말했다.

키르슈너는 “AI 워크로드 덕분에 클라우드 시장이 급성장하고 있으며, 동시에 선택적 회귀가 나타나는 모순적 상황”이라며, “시장 자체가 워낙 빠르게 팽창해 여러 배포 모델을 동시에 수용하고 있기 때문에 가능하다. 이제는 모든 것을 클라우드로 옮기던 순진한 전략에서 벗어나 워크로드별로 똑똑하게 의사결정하는 단계로 발전했다”라고 분석했다.

IT 인력 컨설팅 업체 C4 테크놀로지 서비스의 최고 AI 책임자 잭 엥글러도 같은 흐름을 지적했다. 엥글러는 “우리가 보고 있는 것은 클라우드에서의 대규모 탈출이 아니라, 기업이 가장 중요한 AI 워크로드만 조용히 옆문으로 빼내가는 모습”이라며, “신뢰, 비용, 데이터 통제가 다시 이사회 의제로 올라오면서 AI 워크로드를 어디서 실행하고 데이터를 어디에 저장할지를 결정하는 데 영향을 미치고 있다”라고 설명했다.

엥글러는 “퍼블릭 클라우드는 여전히 실험, 빠른 확장, 이사회 보고서에 잘 보이도록 하는 데는 훌륭하다. 하지만 독점 데이터, 규제 준수, 그리고 불필요한 비용을 피하려면 온프레미스나 프라이빗 환경이 훨씬 합리적인 선택이 된다”라고 강조했다.
dl-ciokorea@foundryco.com