AI 도입 ‘묻지마 투자’ 시대 끝났다…기업들, ‘벨류맥싱’으로 투자 성과 높인다

업계 관계자들에 따르면 CIO와 CFO들은 조직 내 무분별한 AI 지출에 제동을 걸기 시작했으며, 많은 기업이 자동화 도구 투자에서 더 높은 가치를 끌어낼 수 있는 방안을 모색하고 있다.

최근 몇 달 동안 여러 기업은 직원들의 AI 실험을 장려하는 과정에서 AI 토큰 예산을 예상보다 훨씬 빠르게 소진했다. 일부 기업은 AI 도입을 확대하기 위해 토큰 사용량 순위표를 운영했지만, 이는 오히려 직원들의 과도한 토큰 사용 경쟁을 부추기는 결과를 낳았다. 실제로 디즈니의 한 직원은 9일 동안 클로드(Claude) AI와 46만 회 상호작용한 것으로 알려졌다.

우버에서는 직원들이 2026년 전체 AI 예산을 불과 4개월 만에 소진하면서 경영진이 AI 코딩 보조 도구 사용량에 제한을 두기에 이르렀다.

한편 앤트로픽을 비롯한 주요 AI 공급업체들은 사용량 기반의 새로운 과금 체계를 잇달아 도입하고 있다.

이처럼 통제되지 않는 토큰 사용에 대응하기 위해 일부 기업은 이제 ‘가치 극대화(valuemaxxing)’에 초점을 맞추고 있다. 가시성 확보, 거버넌스 강화, 재무적 책임성을 결합해 AI 투자로부터 더 높은 성과와 수익을 얻겠다는 전략이다.

새로운 핵심 지표로 떠오른 ‘가치’

과거 기업들의 AI 도입 목적은 생산성 향상에 집중돼 있었지만, 이제는 투자 가치가 점점 더 중요한 평가 지표로 자리 잡고 있다고 핀옵스 공급업체 플렉세라(Flexera)의 최고제품책임자(CPO) 베키 트레비노는 설명했다.

트레비노는 “과거에는 가능한 한 많은 직원에게 AI를 배포하는 것이 가치로 여겨졌다”라며 “하지만 이제는 제한된 토큰 예산 안에서 보다 현명하게 활용하는 방향으로 빠르게 바뀌고 있다”라고 말했다.

또한 AI 예산 초과 문제는 AI 도입 기업들 사이에서 중요한 논의 주제로 부상하고 있다고 전했다.

트레비노는 “조직 구성원의 99%가 마이크로소프트(MS) 코파일럿을 사용하고 있는지가 성공의 기준은 아니다”라며 “이제는 실제로 얼마의 성과를 창출했는지, 조직에 어떤 변화가 있었는지를 보여줘야 한다”라고 설명했다.

플렉세라와 같은 핀옵스 기업만 고객들에게 가치 중심 접근을 요구하는 것은 아니다. 지난 6월 초 리눅스 재단은 AI 인프라 경제성과 관련한 개방형 산업 표준과 벤치마크, 모범 사례 수립을 목표로 하는 ‘토크노믹스 재단(Tokenomics Foundation)’ 출범을 발표했다.

이제 AI 비용 청구서를 마주할 때

일부 전문가들은 AI의 가치와 비용에 대한 냉정한 평가가 이미 늦어진 상황이라고 지적한다.

인사관리 분야 AI 공급업체 피넘(Phenom)의 글로벌 전략 담당 부사장 클리프 저키위츠는 AI 서비스 비용을 우려하지 않는 IT 리더들이 앞으로 닥칠 문제를 과소평가하고 있다고 분석했다.

저키위츠는 “현재 AI 가격은 실제 비용보다 낮게 책정돼 있으며, 이것이 진짜 비용을 가리고 있다”라며 “모든 프롬프트 뒤에는 데이터센터와 전력 같은 막대한 인프라 비용이 존재하지만 공급업체들이 이를 영원히 떠안을 수는 없다”라고 밝혔다.

그는 많은 조직이 AI 토큰 사용을 지나치게 가볍게 여기고 있으며, 현재의 저렴한 이용 환경이 과도한 사용을 부추기고 있다고 진단했다.

저키위츠는 “실제 비즈니스 가치를 창출하는 활용과 단순한 편의성 제공을 구분하는 관리 체계가 부족하다”라며 “모든 상호작용에는 입력과 출력 비용이 발생하고, AI 시스템은 종종 필요 이상으로 많은 결과를 제공한다. 결국 기업은 필요한 것보다 더 많은 비용을 지불하게 된다”라고 말했다.

이어 “이런 사용 패턴이 조직 전체로 확대되면 비용은 매우 빠르게 증가한다”라고 설명했다.

저키위츠는 앤트로픽과 오픈AI가 모두 기업공개(IPO)를 추진하는 과정에서 가격 정책도 변화할 것으로 전망했다. 이에 따라 현명한 기업들은 AI 사용량을 보다 전략적으로 관리하게 될 것이라고 내다봤다.

그는 “사용량 기반 과금 체계가 확대되면 기업들은 현실을 직시하게 될 것”이라며 “성공하는 기업은 영향력이 큰 활용 사례에 우선순위를 두고, AI를 무한정 사용할 수 있는 공공서비스가 아니라 한정된 전략 자산으로 관리하는 곳이 될 것”이라고 말했다.

IT 서비스 마켓플레이스 앱다이렉트(AppDirect)의 최고기술책임자(CTO) 앤디 센은 AI 모델마다 비용 차이가 매우 크다는 점을 IT 리더들이 인식해야 한다고 지적했다.

그는 많은 기업이 비용을 충분히 고려하지 않은 채 직원들에게 다양한 AI 모델 사용을 허용하고 있다고 말했다.

센은 “많은 기업이 생산성 향상 효과만 기대하며 조직 전반에 AI 기능을 활성화하고 있다”라며 “결국 막대한 비용 청구서를 받고 나서야 문제를 인식하게 될 수 있다”라고 밝혔다.

비용 절감 전략도 중요해진다

센은 IT 리더들에게 개별 AI 모델의 비용 구조를 면밀히 분석하고, 직원들이 가능한 한 가장 경제적인 모델을 사용하도록 유도할 것을 권고했다. 또한 이메일 작성과 같은 단순 업무에는 고가의 프리미엄 기능을 비활성화하는 방안도 고려할 필요가 있다고 말했다.

센은 “중요한 것은 AI 모델 간 비용 차이를 이해하는 것”이라며 “어떤 모델은 다른 모델보다 최대 100배까지 비쌀 수 있다”라고 설명했다.

이어 “답변을 15초가 아닌 5초 만에 받을 수 있다고 해도, 대부분의 업무에서는 그만한 추가 비용을 지불할 가치가 크지 않다”라고 말했다.

센은 CIO가 조직 내 우수 활용 사례를 적극 공유함으로써 직원들이 보다 효율적으로 AI를 사용할 수 있도록 지원할 수 있다고 조언했다.

그는 “조직 전반에서 더 많은 사람이 AI를 활용하기를 원한다면 이미 성공적으로 사용하고 있는 사람들을 보여줘야 한다”라며 “모범 사례는 직원들이 업무를 더욱 효과적으로 수행하는 방법을 이해하도록 돕고 AI 활용을 확산시키는 좋은 수단이 될 수 있다”라고 설명했다.

플렉세라의 트레비노는 기업들이 핀옵스 서비스를 적극 검토하고, AI 도구에 대한 접근 권한을 부서별 우선순위에 따라 배분할 것을 권고했다.

트레비노는 “예산이 제한돼 있고 부서가 20개라면, 그중 어떤 부서가 가장 중요한지 먼저 판단해야 한다”라며 “AI 예산의 대부분을 해당 부서에 배정하는 것이 바람직하다”라고 말했다.

이어 “20개 부서 가운데 3개 부서가 기업의 성장과 경쟁력 확보에 핵심적인 역할을 한다면, 그 3개 사업부가 필요한 AI 도구에 충분히 접근할 수 있도록 보장해야 한다”라고 설명했다.
dl-ciokorea@foundryco.com