“6개월 ROI를 증명하라” 성공하는 CIO의 AI 전략 수정

기업의 AI 프로젝트가 기대에 못 미쳤다는 평가가 잇따르고 있다. 지금까지 나온 연구 대부분이 같은 결론을 내린다. MIT는 기업의 생성형 AI 프로젝트 중 95%가 실패했다고 분석하기도 했다. 여기서 ‘실패’는 6개월 안에 측정 가능한 재무적 수익을 보여주지 못한 경우를 뜻한다.

문제는 이제 ‘성과 부진’을 눈감아주는 시기가 지났다는 점이다. CEO와 이사회, 투자자들은 AI 투자에서 눈에 보이는 ROI를 요구하고 있다. IT 서비스 기업 킨드릴(Kyndryl)의 보고서에 따르면, 설문에 참여한 3,700명의 고위 경영진·의사결정자 중 61%는 “1년 전보다 지금 AI 투자 ROI를 입증해야 한다는 압박이 더 커졌다”고 답했다. 글로벌 CEO 자문사 테네오(Teneo)의 설문 조사에서도 “AI가 과대광고에서 실행으로 무게 중심이 이동하면서, AI 지출의 ROI를 보여달라는 압박이 커지고 있다”며, 비슷한 흐름을 확인했다. 보고서는 투자자 53%가 ‘6개월 이내의 흑자 ROI’를 기대한다고 밝혔다.

IBM 컨설팅의 글로벌 매니징 파트너 닐 다르는 “CEO와 CIO에게 수익을 내라는 압박이 지속되고, 결국 ‘AI로 회사를 어떻게 더 나아지게 만들 것인가’라는 질문으로 수렴한다”고 설명했다.

성공의 초석은 가치 중심 AI

보험사 뉴욕라이프(New York Life) 산하 뉴욕라이프 그룹 베네핏 솔루션즈의 CIO 맷 마즈는 2026년에도 AI ROI를 낼 수 있다고 자신했다. 핵심은 ‘예상 가치’를 기준으로 배포 우선순위를 정하는 방식이다. 마즈는 “2023년 12월 CEO의 촉구로 AI 여정을 시작했고, 출발점부터 고객·파트너·직원 경험을 끌어올릴 기술·데이터·AI 기업이 되자는 목표를 세웠다. 그래서 처음부터 가치와 ROI가 최우선 기준이었다”라고 밝혔다.

AI 투자 판단도 다른 투자와 동일한 잣대를 적용한다. 운영비 절감, 마진 개선, 매출 성장, 고객 만족, 고객 유지 등 다양한 지표를 보되, 최종적으로는 ‘이익 기여’로 귀결된다는 설명이다. 마즈는 “우리는 손익을 기준으로 투자를 집행하기 때문에 지출에 민감하다”라며, “민첩하게 움직이되, 돈을 낭비하지 않는 것이 중요하다”라고 강조했다.

ROI 중점 전략을 추진하기 위한 실무 방식도 소개했다. 데이터·시스템·역량 측면에서 AI에 대한 준비가 된, 이른바 ‘AI Ready’  영역을 우선 공략하고, 여기서 나온 수익으로 다음 프로젝트를 재투자한다. 또한 AI 시스템을 재사용 가능하게 설계해 이후 프로젝트가 더 빨리 출발하도록 만든다. 마즈는 “막연한 개선을 기대하는 것이 아니라, 현실적인 ROI를 낼 수 있는 과제를 고르기 위한 전략적 접근”이라고 설명했다.

여기에 지속적인 IT 현대화도 중요한 기반으로 꼽았다. 마즈는 “기반을 먼저 구축했기 때문에 AI를 활용할 좋은 위치에 섰다”라며, “AI로 ROI를 내려면 전략적 데이터 관리, 컴퓨팅·애플리케이션 현대화, 클라우드 네이티브 솔루션이 필요하다”라고 말했다. 향후에는 AI로 업무를 재구성하고 핵심 프로세스에 ‘에이전틱 솔루션’을 본격적으로 도입하겠다는 구상도 내놨다. 다만 투자안에 따라 회수 기간은 수년이 걸릴 수 있다고 덧붙였다.

“ROI가 필요하다” 성과 측정 기준도 재정의

하지만, 많은 기업이 ROI가 빨리 나오지 않을 가능성이 더 크다고 생각한다. 테네오의 보고서에 따르면, CEO 84%는 “새 AI 이니셔티브의 수익이 나오는 데 6개월보다 더 오래 걸릴 것”이라고 예상했다.

컨설팅 기업 웨스트몬로(West Monroe)의 CAIO 브렛 그린스타인은 “초기 AI 프로젝트 상당수가 비즈니스와 무관한 실험·학습에 가까웠고, 조직의 목표를 해결하지 못해 없어졌다”라고 진단했다. 실제 과제를 겨냥했더라도 확장에 필요한 데이터·기술 기반이 없거나, 현대화 비용이 예상 ROI보다 커서 무산되는 경우가 많았다는 분석이다. 성과가 있어도 정량화가 어렵거나 ‘조직의 판도를 바꾸기엔’ 너무 작은 개선에 그치기도 했다.

그린스타인은 “웹과 모바일 초기에도 비슷한 일이 있었다. 중요한 지표가 무엇인지 새로 찾아내는 데는 시간이 걸린다”라고 말했다. 다만 챗GPT 등장 이후 3년이 지나며 기업의 이해도가 성숙해졌다고 평가했다. 그린스타인은 “지금은 고객들이 AI의 혁신 가치를 이해하고 ‘새로운 업무 방식’으로 보는 3번째 변화의 물결 속에 있다”라며, “ROI가 나오는 곳은 AI를 혁신으로 보고, 현업과 함께 업무 방식을 다시 설계한다. ROI를 얻으려면 변혁 작업이 필요하다는 걸 아는 조직”이라고 분석했다.

팔로알토 네트웍스의 CIO 미라 라자벨은 AI 과제를 고를 때 ‘속도’, ‘효율’, ‘경험’ 세 가지를 기준으로 삼는다고 밝혔다. 라자벨은 “속도가 핵심”이라며, “더 적은 자원으로 더 많은 일을 할 수 있는가, 경험을 얼마나 개선하는가가 판단 기준”이라고 말했다.

라자벨은 이를 토대로 IT 운영의 90%를 AI로 자동화하는 프로젝트를 추진 중이라고 소개했다. 해당 프로젝트는 2024년 초 자동화 비율 12%에서 2025년 말 기준 75%로 높아졌고, 그 과정에서 IT 운영 비용을 절반으로 줄였다고 전했다.

지표와 목표 수립이 먼저

다르는 AI ROI가 잡히지 않았던 이유로 ‘전략 부재’를 지목했다. 다르는 “어디에 AI를 적용할지 체계적으로 묻기보다, ‘일단 해보자’며 무작정 확산시키는 경우가 있었다”고 지적했다.

하지만 점점 더 많은 최고 경영진이 AI를 ‘대대적 혁신’ 수단이자 자사 비즈니스를 극적으로 전환할 기술로 보기 시작했다. 다르는 “이런 기업은 기능별로 재창조하고, 더 좋고 강하고 저렴하게 혁신하고, 경우에 따라 매출도 성장하고 있다. 2년 전에는 실험과 PoC가 많았지만, 지금은 혁신의 단계로 넘어왔고 성숙한 조직은 12개월 내에 수익을 낼 것을 요구한다”라고 설명했다.

애플 기기 관리 소프트웨어 기업 잼프(Jamf)의 CIO 린 램도 관점 변화를 언급했다. 램은 “그동안은 문제점을 해결하기 위해 AI를 적용했지만, 이제는 일하는 방식 자체를 다시 생각할 목적으로 AI를 사용한다”라며, “진짜 큰 가치는 그 지점에서 나온다”라고 강조했다.

현재 잼프가 우선시하는 AI 이니셔티브도 분명 이렇다. 램은 “2년 전에는 ‘일단 해보자’가 통했지만, 지금은 그 단계를 넘었다. 누군가 잠재 가치의 근거가 없는 제안을 하면, 반대할 것이다. 지금은 이해관계자의 목표를 확인하고, 성과를 측정할 지표를 먼저 세운다”라고 밝혔다. 이어 “AI와 AI 에이전트로 할 수 있는 일의 가능성은 거의 무한해 보이지만, 결국 우리는 비즈니스를 운영한다. 논리적이고 영리하게 의사결정을 해야 한다”라고 덧붙였다.

IT 과제를 AI 혁신의 선순환 자원으로 전환

물론 ROI에 초점을 맞춘 혁신에도 현실적 장애물은 남아 있다. IT 서비스 기업 타타 컨설팅 서비스(Tata Consultancy Services, TCS) 북미 AI·기술 혁신 사업부를 이끄는 제니퍼 페르난데스는 “레거시 기술, 프로세스 부채, 데이터 부채가 AI 확장을 막고 있다”라고 지적하며, “이 부채를 갚지 않으면 AI 야심을 키우기도, 의미 있는 성과를 내기도 어렵다”라고 강조했다.

시스코의 ‘AI 준비도 지표’도 같은 문제를 보여준다. 조사 대상 중 IT 인프라가 ‘AI 대한 준비가 되어 있다”라고 답한 조직은 32%에 그쳤고, 데이터 준비도는 34%, 거버넌스 프로세스 준비도는 23%로 더 낮았다.

페르난데스는 ‘부채를 전략적으로 처리하되, AI로 그 부채를 갚는 방식’을 권했다. AI로 IT를 현대화하면 운영 효율이 올라가고, 더 많은 AI 사용례를 지원할 역량도 함께 커지며, 데이터 계층의 결함도 보완할 수 있다는 것. 이런 개선을 통해 절감한 비용과 역량을 다시 다른 AI 프로젝트에 재투자하면, 현대화 효과 덕분에 후속 프로젝트의 ROI 가능성도 높아진다는 설명이다.

페르난데스는 “최적화를 통해 부채를 줄이고, 단계적으로 구축하면서 변혁을 이어갈 수 있다. CIO가 ‘고쳐야 하니 돈을 달라’고 말하는 대신 ‘AI를 도입해 수익을 만들고, 그 수익으로 다른 혁신에 재투자하겠다’고 말할 수 있다. CIO가 AI를 위한 재원을 만들어주는 셈”이라고 말했다.
dl-ciokorea@foundryco.com