AI 비용, 생각보다 깊이 숨어 있다…벤더 계약부터 사업부 예산까지

AI 도입이 빠르고 광범위하게 확산되면서, 많은 CIO는 조직이 AI에 실제로 얼마나 많은 비용을 지출하고 있는지 제대로 파악하지 못하고 있다.

컨설팅 기업 프로티비티(Protiviti)의 ‘2026 AI 펄스 서베이(2026 AI Pulse Survey)’에 따르면, 기업의 약 3분의 2는 직원이 적절한 관리·감독 없이 AI를 사용한 적이 있다고 답했다. 또한 대기업의 절반 가까이는 직원들이 어떤 AI 도구를 사용하고 있는지 완전히 파악하지 못하는 것으로 나타났다. IBM의 ‘2026 테크 리더 스터디(2026 Tech Leader Study)’에서는 기술 리더의 77%가 AI 도입 속도가 이미 조직의 거버넌스 역량을 앞지르고 있다고 응답했다.

프로티비티 글로벌 기술 리스크 및 복원력(Technology Risk & Resilience) 부문 총괄인 앤드루 리트럼(Andrew Retrum)은 “기업들이 AI 도입을 서두르는 속도와 AI를 활용하기 위한 기술적 진입 장벽이 매우 낮다는 점이 맞물리면서, AI 활용 현황을 지속적으로 파악하기가 매우 어려운 환경이 됐다”라고 설명했다.

이는 과거의 ‘섀도 IT’와는 성격이 다르다. 재무적 위험의 원인이 직원들이 무단으로 챗GPT를 구독하는 데 있는 것이 아니라, 벤더 계약 갱신, 사용량 기반 과금, 사업부 예산 곳곳에서 AI 비용이 누적되고 있기 때문이다. 일부 CIO는 초기부터 이러한 비용을 아키텍처에 반영해 전체 지출을 완전히 파악하고 있지만, 대부분은 이제야 이를 따라잡는 단계에 있다. 일부 기업은 비용보다 더 중요한 문제를 제대로 들여다보지 못하고 있다는 사실을 뒤늦게 깨닫고 있다.

돈은 어디에 숨어 있나

AI 비용은 대부분의 조직이 충분히 주목하지 않는 세 곳에서 발생하고 있다.

첫 번째는 벤더 제품에 내장된 AI 기능이다. 소프트웨어 공급업체들은 기존 제품에 AI 기능을 조용히 추가하고 있으며, 그 비용은 새로운 항목으로 청구되는 대신 계약 갱신 시 인상된 비용에 반영된다. 가트너가 2025년 9월 발표한 조사에 따르면, 일부 솔루션은 벤더가 사전 고지 없이 AI 기능을 추가하면서 계약 갱신 비용이 최대 30%까지 증가한 것으로 나타났다.

두 번째는 사용량 기반 과금이다. 가트너는 “생성형 AI 비용의 대부분은 구축(Build)이 아니라 운영(Run) 단계에서 발생한다”라며 “추론(Inference), API 호출, 파인튜닝(Fine-tuning), 사용량 기반 과금은 규모가 커질수록 비용이 빠르고 예측하기 어려운 방식으로 증가한다”라고 분석했다.

컨설팅 기업 코너스톤 리서치(Cornerstone Research)의 최고기술혁신책임자(CTIO) 필 레슬리(Phil Leslie)는 이를 직접 경험했다고 말했다.

레슬리는 “제미나이는 이용료가 정액제이기 때문에 비용을 모니터링하는 것이 큰 의미가 없다”라며 “반면 클로드 코드는 사용량 기반 과금 방식이어서 도입이 확대될수록 지출도 함께 늘어난다. 비용이 증가하는 것을 확인한 뒤 이에 맞춰 대시보드를 구축해 관리하고 있다”라고 설명했다.

하지만 전체 비용을 한눈에 파악하는 일은 쉽지 않다.

레슬리는 “클로드 코드, 기본 클로드 서비스, MS 오피스에서 쓰이는 클로드 플러그인 전반에 걸친 비용을 통합적으로 파악하는 것은 결코 간단한 일이 아니다”라고 말했다.

세 번째는 사업부 주도의 AI 도입이다. 각 부서가 법인카드나 자체 예산을 활용해 AI 솔루션을 구매하면서 IT 부서의 관리 범위를 벗어나는 사례가 늘고 있다.

처음부터 가시성을 고려한 설계

통신 솔루션 기업 콕스 비즈니스(Cox Business)의 AI 총괄 에릭 페이스(Eric Pace)는 자사가 AI 지출을 100% 파악하고 있다고 밝혔다. 다만 이를 위해서는 처음부터 아키텍처와 거버넌스를 의도적으로 설계하는 과정이 필요했다.

페이스는 “일상 운영(BAU, Business as Usual) 과정에서 활성화되는 SaaS 기반 AI 모듈, 신규 AI 솔루션 구매, 전사 토큰 사용량까지 모든 AI 지출을 100% 파악하고 있다”라고 설명했다.

핵심은 중앙집중화와 명확한 책임 체계였다.

페이스는 “AI를 한 조직이 개발하고 다른 조직이 단순히 넘겨받는 방식이 아니라, 처음부터 조직 전체가 함께 책임지는 운영 모델을 구축하는 데 집중했다”라며 “AI 기능을 조기에 중앙집중화해 전사 목표와 일치시키는 한편, 각 사업부는 실제 업무 맥락을 제공해 AI 활용이 실질적인 성과로 이어지도록 했다”라고 말했다.

콕스 비즈니스는 아키텍처 자체에도 기본적으로 가시성을 내장했다.

페이스는 “모든 AI 트래픽은 AI 게이트웨이와 런타임 보안 솔루션을 거친다”라며 “온프레미스와 클라우드 기반 환경 모두 동일하게 적용된다”라고 설명했다.

이 같은 아키텍처는 네트워크 모니터링까지 확장된다.

페이스는 “네트워크를 통해 들어오고 나가는 모든 트래픽을 확인할 수 있으며, 회사 기기에서 어떤 서비스가 실행되고 있는지도 파악할 수 있다”라며 “표준 경로를 벗어난 트래픽 패턴이 발견되면 직원들과 협력해 규정을 준수할 수 있도록 지원한다”라고 말했다.

동시에 직원들이 필요한 AI 도구를 자유롭게 사용할 수 있는 환경도 마련했다.

페이스는 “‘틀 안의 자유(Freedom in a Framework)’라는 원칙 아래 다양한 AI 생태계와 기능을 제공하고 있다”라며 “대부분의 직원은 업무에 필요한 모든 AI 도구를 이용할 수 있다고 느낀다”라고 밝혔다.

비용보다 더 중요한 문제

모든 조직이 AI 비용 가시성 확보를 최우선 과제로 삼는 것은 아니다. 일부 기업은 다른 문제를 더 중요하게 보고 있다.

코너스톤 리서치의 레슬리는 “현재는 의도적으로 비용 가시성을 우선순위에서 뒤로 미뤄두고 있다”라며 “더 어려운 문제는 우리 업무의 특성 자체”라고 말했다.

코너스톤 리서치는 고도의 정확성이 요구되는 소송 지원 업무를 수행하는 기업으로, 전문가 보고서에는 오류가 허용되지 않는다.

레슬리는 “신뢰를 훼손하지 않으면서 AI의 이점을 어떻게 활용할 것인지가 가장 큰 과제”라며 “비용도 중요하지만, 지금 단계에서는 가장 큰 제약 요인은 아니다”라고 설명했다.

레슬리는 비용 최적화를 어렵게 만드는 또 다른 요인도 지적했다. AI 비용을 가장 많이 사용하는 사람이 오히려 가장 높은 성과를 내는 경우가 많다는 것이다.

그는 “전체 AI 비용의 약 80%가 사용자 10%에게서 발생하며, 이들은 대부분 중요한 업무를 수행하는 가장 숙련된 인력”이라며 “모든 사용자에게 동일한 비용 상한선을 적용하면 오히려 장려해야 할 핵심 활용 사례를 제한할 위험이 있다”라고 말했다.

현재 코너스톤은 일정 수준 이상의 비용이 발생하면 추가 승인 절차를 거치도록 하되, 필요한 경우 예외를 허용하는 방식을 운영하고 있다.

레슬리는 “AI 비용이 많이 발생하는 사용자는 낭비를 의미하는 것이 아니라 높은 가치를 창출하는 업무를 수행하고 있다는 신호인 경우가 많다”라고 말했다.

조직 규모가 달라지면 접근법도 달라진다

AI 비용 가시성 확보 방식은 조직 규모에 따라서도 달라진다.

아마존에서 10년간 근무한 뒤 코너스톤으로 자리를 옮긴 레슬리는 두 기업의 차이를 이렇게 설명했다.

레슬리는 “아마존은 단순히 규모가 큰 것이 아니라 사업 영역도 훨씬 다양하다”라며 “그 정도 규모에서는 단순한 규칙이 비효율적이라는 것을 알면서도, 복잡성을 관리하기 위해서는 획일적인 기준을 적용할 수밖에 없는 경우가 많다”라고 말했다.

반면 코너스톤에서는 보다 세밀한 관리가 가능하다.

그는 “피드백 주기가 충분히 짧기 때문에 각 조직 책임자와 직접 대화해 몇 분 만에 팀의 목표를 파악할 수 있다”라며 “덕분에 어떤 경우에는 비용을 더 투입하는 것이 합리적인지 확신을 갖고 판단할 수 있으며, 상황에 맞는 맞춤형 비용 관리가 가능하다”라고 설명했다.

콕스 비즈니스는 규모가 커지면서 또 다른 접근 방식을 선택했다.

페이스는 “AI 우수성 센터(CoE) 밖에서 엔터프라이즈 애플리케이션을 개발하는 조직에는 실행 역량을 분산시키는 대신, 자본 투자는 중앙에서 관리하는 체계를 구축했다”라고 말했다.

또한 토큰 사용 예산은 중앙에서 관리하되, AI 사용량이 많은 부서와는 지속적으로 관련 정보를 공유하고 있으며, 주요 사용 부서와 정기적으로 논의해 실제 비즈니스 가치를 평가하고 있다고 설명했다.

AI 비용 관리, 무엇이 효과적인가

아직 AI 비용 가시성을 구축하는 단계에 있는 조직이라면 기본부터 시작하는 것이 중요하다.

프로티비티의 리트럼은 “우선 AI 자산 목록을 만드는 것부터 시작해야 한다. 보이지 않는 것은 관리할 수도 없다”라며 “IT, 보안, 법무, 사업부에 명확한 책임을 부여하고, 이를 일회성 프로젝트가 아닌 지속적인 관리 체계로 운영해야 한다”라고 조언했다.

우선순위를 정하는 것도 중요하다.

리트럼은 “완벽함을 추구하다가 실행을 미루지 말아야 한다”라며 “민감한 데이터를 다루거나 고객 대상 의사결정, 규제 대상 업무와 관련된 AI 활용 사례처럼 위험도가 높은 영역부터 우선 관리해야 한다. 이러한 영역에 적절한 통제 장치를 마련한 뒤 점진적으로 범위를 확대하는 것이 바람직하다”라고 설명했다.

가트너는 조달 단계에서 AI 구매 항목을 별도로 구분해 관리하고, IT 재무관리 시스템에서도 AI 지출을 독립적으로 추적할 것을 권고했다. 또한 다음 클라우드 및 SaaS 계약 갱신 전에 AI 관련 비용 조항을 계약에 포함하도록 협상할 필요가 있다고 제안했다.

콕스 비즈니스는 거버넌스를 단순한 통제 수단이 아니라 우선순위를 명확히 하는 도구로 활용하고 있다.

페이스는 “더 빠르게 비즈니스 가치를 창출할 수 있는 일에 조직의 역량을 집중하기 위해 필요할 때는 과감하게 ‘아니오’라고 말해왔다”라고 밝혔다.

예산보다 더 큰 위험

일부 조직에서는 AI 비용이 통제 불가능한 수준으로 증가하는 것보다 AI를 잘못 사용하는 것이 더 큰 위험일 수 있다.

레슬리는 “섀도 IT의 핵심은 비용 통제가 아니라 평판 리스크”라며 “기업의 특성과 AI 활용 방식에 따라 무분별한 AI 사용은 실제로 심각한 피해를 초래할 수 있다. 바로 그 위험을 관리하는 것이 더 중요하다”라고 말했다.

AI 비용에 대한 가시성을 확보하는 것은 분명 중요하다. 그러나 일부 CIO에게는 지금 보이지 않는 더 중요한 문제가 따로 있을 수도 있다.
dl-ciokorea@foundryco.com