“없는 돈도 만들어라” AI 예산 마련하려 IT ‘군살’ 빼는 CIO들

제한된 예산 안에서 AI 투자 재원을 마련하는 일이 CIO의 핵심 과제로 떠오르고 있다. 단기적 안정성을 일부 포기하더라도 장기적 역량을 확보하려는 판단 아래, IT 리더들은 인프라 개선을 늦추고 비AI 프로젝트를 뒤로 미루는 한편, 계약 재협상과 레거시 소프트웨어·인력 감축까지 검토하고 있다.

예산 제약은 늘 존재해 왔지만, 경영진과 이사회가 AI를 최우선 과제로 밀어붙이면서 IT 조직이 느끼는 압박은 한층 커졌다. 그 결과 CIO들은 시스템 교체 주기를 늦추고 솔루션 업체와 툴을 통합하면서, 위험 관리와 혁신 사이에서 균형을 잡아야 하는 상황에 놓여 있다.

컨설팅 기업 트위스티드 컨설팅(Twisted Consulting)의 설립자이자 AI·비즈니스 운영 컨설턴트인 케일라 윌리엄스는 “AI 지출은 현실적인 예산 증가 속도보다 훨씬 빠르게 움직이고 있고, 대부분 CIO는 새로운 돈을 찾기보다 기존 다른 항목에서 예산을 빼오고 있다”라며, “불편한 진실은 지금 자금이 투입되는 거의 모든 AI 이니셔티브가 원래 예정돼 있던 다른 무언가를 밀어내고 있다는 점”이라고 지적했다.

시장조사 회사 ISG의 디렉터인 알렉스 바커는 우선순위 조정이 시작되는 순간 어려운 선택이 발생한다며, “AI를 키우려는 조직은 제한적인 예산 증가분을 거의 전부 AI에 쏟아붓거나, 내부 예산을 다시 배분해야 한다”라고 설명했다. 예산 재배치 자체도 많은 시간이 드는 작업이다. 바커는 실제로 기업이 AI 자금을 확보하기 위해 오래된 애플리케이션을 폐기하고 기술 부채를 줄이는 조치까지 병행하고 있다고 분석했다.

윌리엄스가 가장 자주 보는 패턴은 장기 최적화 프로젝트가 AI에 밀리는 모습이다. 윌리엄스는 “인프라 정비, 시스템 리팩터링, 시급하지 않은 플랫폼 업그레이드는 당장 사업 효과를 보여주기 어렵기 때문에 뒤로 밀리고 있다”라며, “중요한 프로젝트들이지만, 예산이 빠듯할 때는 단기 효율 개선이나 인력 절감 효과를 약속하는 AI 프로젝트에 우선순위를 내주게 된다”라고 전했다.

동시에 비용 절감 방식도 달라지고 있다. 윌리엄스는 “미래까지 내다본 이상적인 구조를 만들기보다 범위를 좁힌 구현과 더 많은 기술 부채를 받아들이는 경우가 늘고 있다”라며, “CIO는 더 작은 규모의 AI 배포, 더 적은 통합, 더 낮은 수준의 커스터마이징을 승인하면서 나중에 보완하겠다는 전제를 두고 있다. 베스트 프랙티스라고 보긴 어렵지만, 현실적인 선택”이라고 말했다.

“일단 결과를 증명하라”… AI 투자에 선 긋는 IT 조직

영상 감시 기술 회사 IC 리얼타임(IC Realtime)의 CTO 앤드루 나사르는 IT 부서로 쏟아지는 AI 프로젝트 요청과 거의 매일 등장하는 새로운 AI 툴 소식 사이에서 고심하고 있다.

나사르는 “IT 밖에서도 원하는 것과 필요한 것이 너무 많아서 이를 조율하려고 애쓰고 있다”라며, “올해는 일부 툴 예산을 잡았지만 지난해에는 AI 툴에 쓸 돈이 전혀 없었다. 지금은 무엇을 구매할지 훨씬 더 신중하게 보고 있다”라고 밝혔다. 또 “툴이 즉각적인 결과와 운영 효율을 입증해야 하며, 지금은 지나치게 실험적인 접근을 하지 않겠다는 입장이다. 분명한 선을 긋고 있다”라고 덧붙였다.

이런 기준은 특정 AI 프로젝트의 목표와 측정 지표를 사전에 정리하는 방식으로 이어진다. 프로젝트가 기대만큼 성과를 내지 못하면 일단 보류한다는 것이다. 나사르는 “성과가 나오지 않으면 우선 아이스박스에 넣는다. 보통 한 분기 정도는 가치를 입증할 시간을 준다”라고 말했다.

실제로 보류된 사례도 있다. 2025년 말 IC 리얼타임 고객지원팀은 조직 역할 재편의 일환으로 자율형 영업 에이전트 플랫폼과 실시간 응답 지원 챗봇 도입을 제안했다. 이 챗봇은 고객 질문에 답하고 지원 문서로 연결하는 역할을 맡을 예정이었다. 그러나 파일럿 결과, 고객들이 지원 문서를 제대로 찾지 못해 오히려 문의 전화가 늘었다. 게다가 이 시스템을 구축하려면 수십만 달러의 비용이 들 것으로 예상됐다.

나사르는 어떤 AI 이니셔티브든 기술 구조와 운영 방식까지 정확히 이해해야 한다며, “그냥 켜기만 하면 돌아가는 식이 아니다. 해당 플랫폼은 유지·운영하고 프로그래밍하며 지속적으로 설정을 조정할 팀이 필요했다”라고 설명했다. 챗봇이 대외 음성 통화까지 담당하게 되면 회사의 톤앤매너를 제대로 반영하지 못할 위험도 부담으로 작용했다.

결국 고객지원팀에 프로젝트 보류를 알렸지만 반응은 나쁘지 않았다. 나사르는 “예산 문제만이 아니라 복잡성과 챗봇이 통제 밖으로 벗어나는 위험까지 고려한 결정이었다”라고 말했다.

레거시 소프트웨어와 외부 인력 줄여 AI 재원 확보

데이터 플랫폼 기업 유니데이터(Unidata)도 AI 기반 데이터 수집·분석 소프트웨어에 예산을 돌리기 위해 고강도 비용 재편에 나섰다.

유니데이터의 데이터 수집팀 리드 한나 파크호츠는 “AI에 자금을 재배치하기 위해 레거시 소프트웨어 구독을 줄이고 중복 툴을 통합하는 어려운 결정을 내렸다. 이 과정에서 무엇을 포기할 수 있고 무엇은 유지해야 하는지 완전히 새롭게 판단해야 했다. 결국 오랫동안 써온 익숙한 툴부터 줄이고 있다”라고 밝혔다.

전통적인 데이터 검증 소프트웨어 예산을 40% 삭감하고, 따로 쓰던 프로젝트 관리 툴 3개를 하나로 통합했다. 파크호츠는 “연간 약 4만 7,000달러를 절감했고, 이 돈을 기존 수작업 프로세스보다 크라우드소싱 데이터 분석 속도를 73% 높여주는 AI 기반 품질 관리 소프트웨어에 투입하고 있다”라고 설명했다.

가장 어려운 결정은 기존 데이터 분석 계약 인력 예산을 30% 줄인 일이었다. 파크호츠는 “대신 약 8만5,000달러를 AI 소프트웨어에 배정해 남아 있는 내부 인력을 보완하고 있다”라고 말했다. 유니데이터는 앞으로 단계적으로 폐기할 계획인 레거시 시스템에 대한 교육 예산도 줄이고 있다. 대신 그 자금을 AI 개발과 신기술 역량 강화를 위한 직원 교육으로 돌리고 있다.

예상 밖의 비용 절감 지점도 있었다. 유니데이터는 재해복구 테스트 주기를 분기별에서 반기별로 낮췄고, 이를 통해 계약 인력과 내부 인건비를 합쳐 약 1만 2,000달러를 아꼈다. 파크호츠는 “현실은 냉정하다. AI는 별도 예산이 늘어난 것이 아니라 다른 모든 항목의 예산을 가져가고 있다”라며, “새로운 AI 프로젝트를 시작하려면 반드시 다른 곳에서 같은 규모의 예산을 줄이도록 하는 원칙을 세웠다. 결국 제로섬 게임이기 때문에, 무엇이 진짜 가치를 만들고 무엇이 관성적으로 이어져 왔는지를 다시 따져보게 된다”라고 강조했다.

인프라 개선과 비AI 기능 개발도 뒤로 밀려

IT 리더들이 택하는 또 다른 방식은 중요도가 낮은 인프라 개선을 늦추는 것이다. 디지털 마케팅 기업 헬륨 SEO(Helium SEO)의 CTO 폴 드모트는 서버 용량 확장과 네트워크 개선을 12~18개월 뒤로 미뤘다고 밝혔다. 기존 인프라로도 당장은 충분하다고 판단했기 때문이다. 그 결과 연간 IT 인프라 예산의 약 30%를 AI 개발과 API 비용으로 돌릴 수 있었다.

드모트는 “서버가 용량 한계에 더 가까워진 것은 사실이지만, AI 툴이 만들어내는 가치가 성능의 미세한 개선보다 더 크다”라고 말했다.

파크호츠에 따르면, 유니데이터도 중요하지 않은 인프라 업그레이드를 12~18개월 연기했다. 네트워크 장비 업그레이드와 관리직 직원용 신규 워크스테이션 도입도 미뤄졌다.

AI와 직접 관련 없는 신규 기능도 로드맵에서 빠진다. 드모트는 “올해 계획에는 사용자 경험을 조금씩 개선할 만한 ‘있으면 좋은’ 기능이 있었지만, 엔지니어링 자원을 AI 통합에 투입하기 위해 보류했다”라며, “일부 고객이 지연된 기능을 물었지만, AI 툴이 해낼 수 있는 일을 설명하면 대체로 긍정적인 반응을 보였다”라고 덧붙였다.

전통적인 인력 운영 모델의 변화

전문 서비스 플랫폼 기업 칸타타(Kantata)의 CISO 겸 데이터 보호 책임자인 테이슨 키어니는 AI가 전통적인 인력 운영 모델 자체를 바꿀 수 있는지 계속 따져보고 있다. 핵심은 상대적으로 인건비가 낮은 초급 직원이 AI의 도움을 받아 과거에는 더 높은 숙련도를 요구했던 업무까지 수행할 수 있느냐는 점이다.

키어니는 “일부 시나리오에서는 이런 변화가 비용 구조를 의미 있게 바꾸고, 늘어나는 AI 투자 부담을 상쇄하는 데 도움이 된다”라고 설명했다.

칸타타는 조직 전반의 아이디어를 모으기 위해 내부 AI 위원회도 구성했다. 이를 통해 실제로 적용 가능한 기회를 찾고, 각 아이디어를 툴 요구사항, 총투자액, 예상 ROI, 비즈니스 케이스, 내부 개발 및 변화 관리 필요 수준 등 일관된 기준으로 평가하고 있다. 키어니는 “그 결과 제한된 예산을 지나치게 많은 실험 프로젝트에 나눠 쓰기보다 AI가 가장 큰 효율 개선과 측정 가능한 ROI를 낼 수 있는 영역에 의식적으로 투자하는 방향으로 가고 있다”라고 밝혔다.

또한 일부 사례에서는 새로운 툴이나 솔루션 업체에 지출하지 않고도, 이미 사용 중인 AI 플랫폼에 내부 개발 역량을 결합해 필요한 사용례를 해결할 수 있었다. 키어니는 “우리 접근법은 단순히 더 많은 예산을 찾는 데 있지 않다”라며 “AI가 생산성, 확장성, 비용 효율을 분명히 개선하는 영역으로 투자를 재배치하고, 영향력이 작은 과제는 우선순위를 낮추는 데 초점을 맞추고 있다”라고 설명했다.

“AI만 예외로 두지 말라” 예산 통제와 거버넌스가 더 중요

해운 에너지 운송 기업 인터내셔널 시웨이즈(International Seaways)의 부사장 겸 CIO·CISO인 아미트 바수는 이 문제를 다르게 본다. CIO가 AI 예산을 마련하느라 기존 사업을 희생시키는 것이 핵심이 아니라, 오히려 경영진과 이사회가 예산 통제 없이 빠른 AI 도입만 요구하는 경우가 많다는 것이다. 게다가 거버넌스, 보안, 리스크에 대한 관심도 충분치 않다고 지적했다.

바수는 다른 대형 엔터프라이즈 프로젝트에 적용하던 엄격한 기준이 AI 투자에는 동일하게 적용되지 않고 있다고 본다. CIO는 혁신과 실험을 요구받지만, 실제 환경은 결코 안정적이거나 예측 가능하지 않다는 설명이다. 그런데도 성과 평가는 여전히 운영의 확실성을 전제로 한 기존 지표에 기대고 있다. 바수는 “학습을 인정하고 보상하는 방식으로 예산 통제를 바꾸지 않으면, 조직은 빨리 움직이는 것처럼 보이면서도 실제 진전은 더딜 지도 모른다”라고 말했다.

그 결과 의미 있는 인사이트를 주거나 미래 리스크를 줄여주는 파일럿이라도, 즉각적인 ROI를 내지 못하면 실패로 낙인찍히는 경우가 많다. 바수는 “CIO의 과제는 기존 프로그램 중 어떤 것을 희생할지보다, 조직이 책임 있게 감당할 준비가 되기 전에 너무 빨리 움직이라는 요구를 받고 있다는 데 있다”라며, “결국 CIO와 CISO는 속도와 통제, 혁신과 회복탄력성, 경영진 기대와 규제·운영 현실 사이의 균형을 잡아야 한다”라고 강조했다. 이어 “어떤 프로젝트를 멈출지가 더 큰 위험이 아니라, 충분한 안전장치와 지속 가능성 없이 AI가 도입되는 것이 더 큰 위험일 수 있다”라고 덧붙였다.

나사르도 같은 문제의식을 드러냈다. 디지털 영상 감시 기업으로서 기술 활용에 익숙하지만, AI 리스크는 여전히 의사결정의 핵심 변수이며 올해는 AI 거버넌스를 최우선에 둘 계획이라고 말했다.

나사르는 “우리는 그동안 너무 앞선 프로젝트로 여러 차례 시행착오를 겪었다. 그래서 지금은 이런 툴이나 서비스에 대해 무작정 실험적으로 달려들기를 주저하고 있다”라며, “서두르기보다 운영비 절감과 효율 개선에 실제로 도움이 되는지를 보고 있다”라고 설명했다.

바수는 많은 AI 프로젝트가 기존 예산을 다른 곳에서 빼오는 방식이 아니라, 오히려 이를 가능하게 만들기 위해 인프라, 데이터 플랫폼, 보안에 선행 투자해야 하는 경우가 많다고 강조했다.

인터내셔널 시웨이즈도 일부 AI 사용례의 진행 속도를 늦춘 적이 있다. 바수는 “야망이나 자금이 부족해서가 아니라, 필요한 기반 없이 추진하면 운영 및 보안 리스크를 감당할 수 없는 수준으로 키울 수 있기 때문”이라며, “그런 점에서 AI는 오히려 오래 미뤄왔던 투자를 실행하게 만드는 강제 요인으로 작동했다. 이는 AI 프로그램뿐 아니라 전반적인 기술과 리스크 대응 체계를 더 강하게 만든다”라고 말했다.

솔루션 업체 통합 및 툴 축소도 AI 시대의 새 예산 공식

AI 확산은 솔루션 업체 통합과 계약 재협상까지 촉진하고 있다. 윌리엄스는 “리더들은 AI 플랫폼이나 서비스를 들일 공간을 만들기 위해 겹치는 툴을 과감히 정리하고 라이선스 수를 줄이고, 갱신 시점을 늦추고 있다”라며, “일부는 이미 과부하 상태인 팀이 떠안고 있던 수작업을 AI가 대체한다고 설명하면서 AI 지출을 정당화하기도 한다”라고 말했다.

나사르는 기존 툴 스택을 활용해 AI 프로젝트를 추진할 수 있었고, 필요할 경우 구독 규모를 조금씩 늘리는 방식으로 대응하고 있다고 밝혔다. 전략은 작게 시작해 파일럿이 성과를 입증하면 그때 기능을 더하고 예산도 확대하는 방식이다. 올해 예산의 약 5~10%를 AI에 투입할 계획이며, 내년에는 그 비중이 두 배 또는 세 배까지 늘어날 수 있다고 내다봤다.

드모트는 한발 더 나아가 회사 소프트웨어 툴 스택을 공격적으로 줄이고 통합했다고 밝혔다. 그 결과 구독 비용을 약 40% 절감했고, 절감액은 AI 플랫폼 지출과 엔지니어 추가 채용에 투입했다. 현재 솔루션 엋베들과도 더 좋은 단가를 확보하기 위해 다시 협상하고 있다.

AI 변화 속도가 너무 빠르다는 점도 부담이다. 나사르는 “다음 주에 어떤 툴이 나올지조차 모른다. 그게 가장 두렵다”라며, “앤트로픽의 클로드 같은 새로운 동료가 등장하면서, 이런 시스템을 제대로 이해해야 한다는 압박이 커졌다”라고 말했다.

그럼에도 AI 확산 자체를 외면할 수는 없다. 나사르는 “이제는 선택의 문제가 아니라고 생각한다. 인류 역사상 가장 큰 규모의 자본 지출이 벌어지고 있다”라고 덧붙였다.

윌리엄스는 이런 예산 결정이 결코 가볍게 이뤄지는 것은 아니라고 강조했다. 윌리엄스는 “대부분의 CIO는 단기 안정성을 장기 역량과 맞바꾸고 있다는 사실을 잘 알고 있다. 하지만 AI를 아예 늦추는 것이 다른 이니셔티브를 미루는 것보다 더 큰 위험이라는 공감대가 커지고 있다”라며, “지금 뒤처지면, 나중에 그 격차를 메우는 비용과 충격이 훨씬 더 커질 수 있다”라고 경고했다.
dl-ciokorea@foundryco.com