매출의 10%가 클라우드로…중견 SaaS, AI가 비용 변동 키웠다

새로운 설문조사에 따르면, 클라우드에서 실행되는 AI 워크로드가 늘어나면서 중견 IT 기업은 매출의 큰 비중을 클라우드 서비스에 지출하고 있다.

직원 1,000명 이하 SaaS 기업과 기타 IT 기업의 CFO 100명을 대상으로 한 설문조사에서 IT 기업의 1/3은 연 매출의 5~8%를 클라우드 서비스에 쓰고 있다고 답했지만, 29%는 13% 이상을 지출한다고 답했다. 설문조사에 포함된 기업의 평균 클라우드 지출 비중은 매출의 10%로 나타났다.

핀옵스 솔루션 업체 클라우드 캐피털(Cloud Capital)이 의뢰한 이번 설문조사에 따르면, 설문 대상 조직에서 AI/ML 워크로드가 클라우드 비용의 22%를 차지했다. 클라우드 비용은 급여와 기타 인건비에 이어 많은 IT 기업과 SaaS 기업에서 두 번째로 큰 지출 항목으로 자리 잡았다.

AI의 대가

IT 기업과 SaaS 서비스 업체는 AI에서 효율성이나 생산성 향상을 기대하며 당분간 클라우드 비용 증가분을 감내하고 있다. 클라우드 캐피털 CTO 스펜서 핑그리는 “특히 AI 워크로드로 인한 클라우드 지출이 늘어나는 상황에서 많은 조직이 성과가 나올 것으로 보고 일단 증가분을 받아들이고 있다”라고 설명했다. 또한, “성과가 확인된 뒤에도 클라우드 지출은 줄어들지 않고 오히려 더 늘어날 것”이라고 덧붙였다.

그렇다면, 고객사 CIO 입장에서는 이들 IT 기업과 SaaS 서비스 업체가 언제부터 고객사에 비용을 전가할지 묻지 않을 수 없다. 핑그리는 “클라우드 지출이 늘어나면 수익성을 지키기 위한 일반적인 수단 중 하나가 가격 인상”이라며, “하지만 고객 유치와 유지 경쟁이 치열한 시장에서 가격 인상은 이탈을 늘리고 경쟁사가 전환 고객을 확보하기 쉽게 만들어 역효과가 날 수 있다”라고 경고했다.

클라우드 캐피털 설문조사는 중견 IT 솔루션 업체의 CFO와 CIO가 매달 크게 출렁이는 비용 변동 속에서 클라우드 지출을 통제하는 데 어려움을 겪고 있음을 보여준다. IT 기업 CFO의 3/4이 매달 클라우드 지출 전망치가 회사 매출의 5~10% 수준에서 오르내린다고 답했다.

핑그리는 AI 워크로드 비용이 기존 SaaS 인프라보다 예측하기 어렵다며, 대규모 AI 워크로드를 운영하는 조직은 AI 비중이 중간 수준인 조직보다 클라우드 지출과 연동된 마진 하락을 더 자주 보고한다고 설명했다.

클라우드 캐피털의 보고서는 “학습 급증, 사용량 기반 추론, 실험 과정에서 발생하는 잡음이 비선형 패턴을 만들어 재무 조직이 의존해 온 예측 가정을 무너뜨린다”라며, “클라우드 지출에서 AI 비중이 계속 커질수록 문제는 더 심해질 것”이라고 밝혔다.

급격한 증가

클라우드 캐피털은 매출 대비 클라우드 지출 비중에 대한 과거 데이터를 보유하고 있지 않지만, 앞으로 추적을 시작할 계획이라고 밝혔다. 그럼에도 이번 설문 결과는 과거 추세와 비교하면 큰 폭의 증가를 보여준다.

가트너는 2024년 여러 산업의 중견 기업에서 IT 예산 전체가 매출의 3%에 불과했고, 소프트웨어 퍼블리싱 및 인터넷 서비스 업체도 IT 예산이 매출의 6%를 조금 넘는 수준이라고 추산한 바 있다.

앱파이어(Appfire) CTO 에드 프레더리치는 매출의 10%를 클라우드 서비스에 지출한다는 평균치는 높아 보이지만, 클라우드 지출이 증가하는 흐름 자체는 분명하다고 말했다. 앱파이어는 현재 매출의 약 1.6%를 클라우드 컴퓨팅에 쓰고 있다.

프레더리치는 클라우드 컴퓨팅과 스토리지 비용이 상승하고 있다며, “사용량 기반 과금에서는 하루 몇 달러 수준에서 1,000달러까지도 뛸 수 있어서 지출을 아주 꼼꼼히 모니터링하고 있다”라고 밝혔다. 프레더리치는 앱파이어가 AI 비중이 큰 클라우드 워크로드를 많이 운영하지는 않지만, AI 컴퓨팅과 스토리지 수요가 서로를 밀어 올리며 비용이 빠르게 증가할 수 있다고 지적했다.

또한, “AI가 더 많은 지식을 갖도록 만들수록 더 많은 스토리지가 필요해진다”라며, “AI 역량을 키울수록 가장 비싼 두 비용인 컴퓨팅과 스토리지 비용이 함께 올라가는 악순환이 발생할 수 있다”라고 덧붙였다.

과도한 유연성

이번 설문 결과가 현실적이라고 보는 IT 리더도 있다. 디지털 트랜스포메이션 업체 UST의 글로벌 클라우드 자문 총괄 릭 클라크는 “클라우드 소비가 비즈니스 가치와 분리되고, 개발자 유연성을 생산성과 혼동하면 클라우드 지출은 매출의 10% 수준까지 치솟는다”라고 말했다.

클라크는 “데이터센터 시대에는 개발자가 하드웨어를 랙에 올리고 설치하지 못했지만, 클라우드 시대에는 아무런 지침도 없이 사실상 무한대에 가까운 인프라 선택지를 개발자에게 줬다”라고 강조했다.

서비스 자체가 본질적으로 지나치게 비싼 것은 아니지만, 많은 조직이 의도치 않은 소비로 ‘스스로 발목을 잡는다’는 것이다. 클라크는 “시스템이 제공해야 할 가치를 명확히 이해하지 못한 채 구축하면 비용이 올라간다”라고 덧붙였다.

AI를 놓칠지 모른다는 두려움도 클라우드 지출 급등을 부추기고 있다. 클라크는 “어떤 CEO도 다른 회사가 AI로 앞서 나가는데 자사만 뒤처졌다고 이사회에 설명하고 싶어 하지 않는다. 경제성이 이미 무너진 아키텍처 위에 학습, 추론, 데이터 이동 비용이 덧붙는 형태로 제한 없는 지출 경쟁이 벌어지고 있다”라고 지적했다.

전문가들은 IT 리더가 CFO와 함께 클라우드 지출을 통제하기 위한 여러 조치를 취할 수 있다고 조언한다. IT 조직이 핀옵스 프랙티스를 도입해야 한다는 견해도 있지만, 클라크는 핀옵스가 해법의 일부에 불과하다고 생각한다.

클라크는 “핀옵스는 미사용 리소스 같은 명백한 낭비를 찾는 데는 도움이 되지만, 그 효과는 일회용 반창고에 가깝다”라며, “더 큰 문제는 핀옵스가 수익, 마진, 구축 중인 워크로드의 경제적 목표를 알지 못하는 개발자에게 비용 책임을 떠넘기는 경우가 많다는 점”이라고 말했다. 비용은 기술적 결정이 아니라 비즈니스 결정이라는 것이 클라크의 지적이다.

핑그리는 IT 리더가 CFO와 긴밀히 협력해 IT 팀의 필요와 비즈니스 목표에 맞는 클라우드 지출 목표를 세워야 한다고 말했다. 또한, 클라우드 비용이 매출에서 차지하는 비중이 커질수록 CFO는 클라우드 예산 수립에 더 많은 관심을 기울여야 하고, CIO와 CFO의 관계가 좋을수록 두 부서의 필요를 더 잘 이해할 수 있다고 덧붙였다.

특히, IT 리더에게 “재무 부서와의 관계를 다지라”고 조언하며, “삭감만 하려는 존재로 비쳐 부정적으로 보일 때가 있지만, 재무 부서가 원하는 것은 계획에 맞춰 움직이는 것이고 계획을 달성하기만 하면 매우 만족한다”라고 설명했다.

앱파이어의 프레더리치는 IT 리더가 팀의 클라우드 사용량을 정기적으로 점검하고 더 이상 필요 없는 클라우드 리소스를 철저히 끊어내야 한다고 권고했다. 또, 클라우드 사용량이나 지출이 평소 수준에서 벗어날 때 이를 알리는 경보를 설정하는 방법도 제안했다. 앱파이어의 경우, 클라우드 최적화에 집중하며 더 이상 필요 없는 클라우드 리소스를 정기적으로 종료하고 있다.

프레더리치는 “아주 흔한 상황으로, 개발자와 QA 담당자가 원하는 비프로덕션 환경을 얼마든지 띄울 수 있는 권한을 갖고 있다. 실험을 위해 환경을 하나 띄운 뒤 종료하는 것을 잊고, 다음 실험을 위해 또 다른 환경을 띄우는 일이 반복된다”라며, “어느 순간, 무분별하게 확산된 리소스가 방치된 채로 남게 된다”라고 설명했다.
dl-ciokorea@foundryco.com