“AI 인프라 비용 30% 과소평가” CIO, 핀옵스 확대 불가피

IDC는 기업이 향후 2년 동안 AI 인프라 비용을 잘못 계산하면서 CIO가 핀옵스팀의 역할 범위를 확대할 것이라고 전망했다.

IDC 인프라·운영 리서치 부문 부사장 제빈 젠슨은 “CIO와 재무 책임자가 컴퓨팅 집약형 AI 프로젝트에는 표준적인 예산 예측 방식이 통하지 않는다는 사실을 깨닫게 되면서 기업 AI 사용자는 ‘대규모 AI 인프라 비용 정산’을 맞게 될 것”이라고 경고했다.

IDC는 글로벌 1000대 기업이 2027년까지 AI 인프라 비용을 30% 과소평가할 것이라고 전망했다. 젠슨은 “AI 프로젝트를 확대하는 비용 구조는 기업이 수십 년 동안 배포해 온 신규 ERP 솔루션과 기타 IT 시스템을 출시하는 비용 구조와 근본적으로 다르다”라고 지적했다.

GPU, 추론, 네트워킹, 토큰 비용을 계산하는 일이 전통적 IT 시스템 예산을 짜는 일보다 훨씬 복잡할 수 있으며, CIO가 보안, 거버넌스, 임직원 교육 비용도 고려해야 한다. 젠슨은 “AI는 비싸고 예측이 어렵고 전통적 IT 프로젝트와 극적으로 다르며, 대부분의 예산이 추적할 수 있는 속도보다 더 빠르게 성장하고 있다. AI 기반 애플리케이션은 대체로 리소스 집약적이고 소비 모델이 불투명하며 전통적 IT 예산 편성 방식의 한계를 넘어섰다”라고 설명했다.

문제는 IT 책임자가 AI 확장에 수반되는 가격 복잡성을 과소평가하는 경우가 많다는 것. 젠슨은 “모델 크기가 2배가 되면 컴퓨팅 소모량은 10배가 될 수 있다. 추론 워크로드는 지속적으로 실행되며, 학습이 끝난 뒤에도 오랫동안 GPU 사이클을 소비한다”라며, “한때는 통제 가능한 항목처럼 보였던 비용이 이제는 살아 있는 유기체처럼 움직이며, 성장하고 적응하고 예측 불가능하게 리소스를 소모한다”라고 강조했다.

되돌릴 수 없는 수준의 투자 경쟁

일각에서는 CIO가 AI 비용을 추정하는 데 어려움을 겪는 가운데 오픈AI와 앤트로픽 같은 대형 AI 솔루션 업체의 투자 광풍은 투자금 회수 압박을 키운다는 지적도 나온다. IBM CEO 아빈드 크리슈나는 최근 디코더 팟캐스트(The Decoder podcast)에 출연해 대형 솔루션 업체의 AI 야심을 뒷받침할 데이터센터 용량 100기가와트를 구축하는 비용이 약 8조 달러에 이를 수 있고, 그 야심을 구동할 연료로 예상되는 전력 수요도 막대하다고 경고했다.

크리슈나는 “그런 투자에서 수익을 낼 방법이 없다. 자본 지출 8조 달러는 이자만 갚기 위해서도 대략 8000억 달러의 이익이 필요하다는 뜻”이라고 덧붙였다.

IBM 인프라 COO 겸 IBM 시스템 총괄 책임자 바리 베이커도 “계산이 맞지 않는다”라고 말한다. 베이커는 단기적으로 1기가와트 규모 데이터센터 1곳의 비용이 750억 달러를 넘을 가능성이 크다며, “이런 투자의 상당 부분이 동시에 진행되면서 수요가 공급을 앞지르고, 인력부터 콘크리트, 실리콘까지 비용 방정식의 모든 요소 가격이 급격히 상승하고 있다”라고 지적했다.

AI 데이터센터 하드웨어의 유효 수명도 제한적이다. 베이커는 “이런 천문학적 수치에 더해 실제 컴퓨팅 자원은 몇 년마다 교체가 필요해 지속적인 재투자 사이클이 만들어진다. 많은 조직이 장기 계획에서 그 재투자 사이클을 충분히 반영하지 못했다”라고 말했다.

IDC의 젠슨은 AWS, 마이크로소프트 애저, 구글 클라우드 같은 하이퍼스케일러와 AI 솔루션 업체의 막대한 AI 지출 때문에 가격이 높게 유지될 수도 있다고 본다. 젠슨은 “하이퍼스케일러와 솔루션 업체는 수천억 달러의 비용을 회수하려고 1500억 달러에 팔아 넘기려 한다”고 말했다.

다만 2027년 이후에는 AI 인프라 가격이 내려갈 수도 있다. 젠슨은 엔비디아 같은 제조사의 GPU 가격이 내려갈 가능성이 크고, 하이퍼스케일러와 AI 솔루션 업체가 수요를 끌어올리기 위해 가격을 인하할 수도 있다고 전망했다.

비용 추정에 어려움을 겪는 기업

데이터센터와 GPU에 대한 막대한 지출 논의를 넘어, AI 인프라 서비스를 소비하는 기업의 IT 리더 대다수가 비용 추정이 어렵다고 느낀다. 시스코 CX 엔지니어링·클라우드 보안·AI 플랫폼 부문 수석 엔지니어 닉 케일은 “IDC의 비용 과소평가 전망은 그럴듯하며, 보수적으로 잡은 수치일 수도 있다”라고 말했다.

많은 조직이 AI 인프라 비용을 예측 가능한 클라우드 워크로드처럼 가정해 산정한다. 케일은 “비즈니스에 모델이 도입되면 사용량은 빠르게 늘어난다. 한 팀을 위해 설계된 워크플로우가 회사 전반의 공유 서비스로 바뀌는 경우가 많고, 그런 변화는 원래 비용 모델에 반영되지 않았던 상당한 수요 증가로 이어진다”라고 설명했다.

AI 운영 리스크를 줄이기 위해 필요한 모니터링, 드리프트 탐지, 로깅, 검증 체크 시스템이 예상보다 더 많은 컴퓨팅 파워를 소모할 수도 있다. 케일은 “여러 기업 환경에서 이런 지원 시스템 비용이 모델 추론 자체 비용과 비슷해지거나, 오히려 더 커졌다”라고 덧붙였다.

핀옵스의 필요성

전문가들은 CIO가 AI 인프라 비용을 산정할 때 예방 조치가 필요하다고 말한다. IDC의 젠슨은 핀옵스 솔루션의 중요성이 더 커지고, AI 인프라 비용을 책임 지게 될 CIO에게 핀옵스팀이 보고하는 구조가 보편화될 것으로 전망했다.

젠슨은 특정 기업에 어떤 AI 프로젝트가 가장 적합한지 파악하는 데 핀옵스 프랙티스가 필수라며, 좋은 핀옵스 프랙티스는 CIO가 ROI 가능성이 가장 높은 AI 프로젝트에 집중하고, 인프라 비용을 이해하고 조건 변화에 맞춰 조정할 수 있도록 해준다고 설명했다.

젠슨은 “AI는 기술 지출을 예측 가능한 소비에서 확률적 행동으로 바꿔 놓았다”라며, “재무 가시성은 정기적 점검이 아니라 연속적 점검이 돼야 한다”라고 강조했다.

핀옵스 프랙티스 도입이 좋은 출발점이지만, 그것만으로는 부족하다. 핀옵스가 돈이 어떻게 쓰이는지 보여줄 뿐 아니라 워크로드가 어떻게 동작하는지도 보여줘야 한다. 케일은 “불필요한 리소스 사용을 줄이기 위한 실행 가능한 전략은 각 작업에 대해 최소 모델을 사용하도록 팀을 유도하는 것”이라며, “요청은 사용자 경험에 영향을 주지 않으면서 더 작은 모델이나 정제된 모델로 우회 처리할 수 있다”라고 설명했다.

케일은 핀옵스 팀이 AI 검색 시스템, 검증 파이프라인, 정책 점검의 설계를 평가해 서로 독립적으로 동작하는지, 필요한 수준보다 더 자주 실행되지 않는지 확인해야 한다고 권고했다.

CIO는 GPU 사용에도 주의를 기울여야 한다. 스케줄링이 미흡하고 워크로드 관리가 통합되지 않아 GPU 노드가 전체 용량의 일부만 사용되는 경우가 많기 때문이다. 케일은 “오케스트레이션과 워크로드 배치를 개선하면 상당한 비용 절감 효과를 얻을 수 있다”라고 강조했다.
dl-ciokorea@foundryco.com