AI 성과 지표 갖춘 기업 47%뿐…글로벌 IT 리더, ROI 입증 위한 조직 개편 본격화

과도한 기대와 경영진의 압박 속에서 CIO들은 전략적 AI 이니셔티브를 실제 운영 단계로 전환하는 데 속도를 내고 있다. 목표는 이 기술이 가져올 수 있는 가치를 입증하는 데 그치지 않고, 무엇보다 측정 가능한 투자수익률(ROI)을 실현하는 것이다. AI는 기업에 파괴적 변화를 가져오는 동시에 혁신의 원동력으로 평가받고 있다.

끊임없이 이어지던 AI 파일럿 프로젝트와 광범위한 실험 중심 접근 방식은 점차 변화를 맞고 있다. 이제 기업들은 실제 비즈니스 가치를 창출하고 수익성 개선에 기여할 가능성이 높은 AI 활용 사례를 우선 선정해 확산하는 데 집중하고 있다.

하지만 AI 도입의 다음 단계로 나아가는 CIO들에게 정량적인 ROI를 확보하는 일은 여전히 쉽지 않은 과제다. CIO.com이 IT 리더 662명과 현업 부서 관계자 249명을 대상으로 실시한 제25회 연례 ‘CIO 현황(State of the CIO)’ 조사에 따르면, AI 이니셔티브가 비즈니스 목표를 충족하거나 초과 달성했다고 답한 비율은 19%에 그쳤다. 또한 응답자의 18%는 AI 활용 사례 가운데 3분의 1 미만만이 당초 기대 수준을 충족하고 있다고 답했다.

명확하지 않은 비즈니스 전략과 성과 지표 역시 CIO들의 AI 추진 전략을 가로막는 주요 장애물로 나타났다. 올해 조사 응답자의 32%는 불명확한 ROI 측정 기준을 AI 확산의 걸림돌로 꼽았으며, 31%는 기업 차원의 AI 전략이 명확하지 않다고 답했다. 또한 40%는 내부 전문 인력 부족을 주요 문제로 지적했다.

미국 렌슬리어 폴리테크닉 연구소(Rensselaer Polytechnic Institute)의 CIO 안드레아 밸린저는 “각 사업 부문과 임원진이 저마다의 최적화를 위해 AI 도입을 추진하고 있어 지속적으로 ROI를 측정하는 조직은 사실상 없다”라며 “현재는 모든 요청에 일단 응하고 있지만, 한 걸음 물러나 실제 가치를 창출하는 비즈니스 사례에 집중해야 할 시점”이라고 말했다.

AI ROI 실현 위한 기반 구축 본격화

기업들이 목표가 명확한 AI 활용 사례에 집중하고 확장성과 투자수익률(ROI) 확보를 위한 기반 마련에 나서면서 분위기가 달라지고 있다. 특히 부서 간 협업을 위한 운영위원회와 AI 전담 태스크포스가 AI 활용 사례를 발굴하고 우선순위를 정하며 기업 목표와 연계하는 핵심 조직으로 부상하고 있다. 조사에 참여한 IT 리더의 83%는 이미 이러한 조직을 운영 중이거나 1년 내 도입할 계획이라고 답했다. 이들 조직에서는 IT 부서가 중심 역할을 맡고 있으며, 경영진과 보안·리스크 조직도 적극 참여하고 있다. 재무, 법무, 인사(HR) 등 비즈니스 부서도 일부 포함되고 있다.

반면 AI 프로젝트 승인 절차는 상대적으로 미성숙한 상태다. ‘2026 CIO 현황’ 조사 응답자의 53%만이 공식 승인 프로세스를 갖추고 있었으며, 28%는 향후 12개월 안에 관련 체계를 마련할 계획이라고 밝혔다.

AI 성공을 판단하는 또 다른 핵심 요소인 핵심성과지표(KPI) 역시 대부분 기업에서 아직 충분히 정립되지 않은 것으로 나타났다. 공식적인 KPI를 운영 중인 기업은 47%에 그쳤고, 34%는 올해 안에 구축할 계획이라고 답했다. AI 성과를 측정하는 기업들이 가장 많이 활용하는 지표는 운영 효율성과 프로세스 개선(40%)이었다. 이어 직원 생산성 향상(34%), 비용 절감(30%) 순으로 나타났다. 반면 AI가 매출 증가나 성장에 미치는 영향을 주요 지표로 활용하는 비율은 27%에 불과했다.

통학버스 운송 서비스 기업 퍼스트 스튜던트(First Student)는 체계적인 혁신 프레임워크와 AI 전담 위원회를 구축해 주요 비즈니스 목표와 연계된 AI 프로젝트를 성공적으로 확장하고 있다. CIO 숀 맥코맥은 이러한 조직 체계가 초기 성과의 핵심 요인이라고 평가했다. 경영진과 사업 부문 리더로 구성된 AI 위원회는 정기적으로 AI 활용 사례를 검토하고 투자 대비 효과가 가장 높은 프로젝트를 선별하고 있다.

맥코맥은 “우리는 대부분의 기업보다 비즈니스 타당성 검토를 훨씬 엄격하게 진행한다”라며 “모든 프로젝트는 지표를 기반으로 운영되며 실제 가치를 입증할 수 있어야 한다”고 말했다. 이어 “프로덕션 환경에 적용되는 시점에는 이미 여러 차례 개념검증(PoC)과 재무 분석을 거쳤기 때문에 빠르게 가치를 증명할 수 있다”고 설명했다.

AI 도입을 시작한 지 3년이 된 금융 서비스 기업 티아(TIAA)는 생성형 AI와 에이전틱 AI를 활용한 다양한 사례를 운영하고 있다. 사기 탐지 및 예방, 콜센터 지원 시스템을 비롯해 다양한 AI 기반 서비스를 구축했으며 전체 직원의 85%가 사내 AI 플랫폼인 ‘TIAA 게이트(TIAA Gate)’를 사용하고 있다.

하지만 교육 투자, 강력한 거버넌스 체계, 운영위원회, AI 우수센터(CoE), 성과 평가와 연계된 AI 활용 정책 등 필요한 요소를 모두 갖췄음에도 ROI 확보는 여전히 어려운 과제로 남아 있다.

티아의 최고운영·정보·디지털 책임자(COIDO) 사스트리 두르바술라는 “문서상으로는 ROI가 높게 계산되더라도 실제 운영 환경에서는 결과가 달라질 수 있다”라며 “파일럿 프로젝트가 성공했다고 해도 토큰 처리 비용, 트래픽 운영 비용, RAG(Retrieval Augmented Generation) 운영 비용 등 전체 운영 비용을 정확히 파악해야 한다”고 설명했다.

오랜 기간 CTO, CIO, 최고AI책임자(CAIO)를 역임한 토머스 프로머는 AI ROI를 높이기 위한 세 가지 방안을 제시했다.

첫 번째는 프로젝트마다 기술 책임자와 비즈니스 책임자를 지정해 공동 책임 체계를 구축하는 것이다. 두 사람 모두 프로젝트 성과에 대한 책임을 함께 져야 한다는 의미다.

또한 프로머는 중앙집중형 AI 우수센터(CoE) 대신 각 사업부에 AI 전담 조직을 배치하는 방식을 권장했다. 실제로 프로머가 몸담았던 조직은 중앙 AI 조직을 사업부 내 AI 스쿼드 체계로 전환한 뒤 성과를 거뒀다.

프로머는 “AI 우수센터 모델은 결국 누구도 실질적인 책임을 지지 않는 지원 조직으로 변질될 수 있다”라며 “반면 사업부 내 전담 조직은 비즈니스 성과가 발생하는 현장에서 직접 책임을 지게 만든다”고 설명했다.

세 번째는 결과 중심의 단계별 투자 방식을 도입하는 것이다.

프로머는 “우리는 ‘AI 모델을 구축하라’에 자금을 지원하는 것이 아니라 ‘특정 제품군의 반품률을 8% 낮춰라’와 같은 비즈니스 성과 목표에 투자한다”라며 “90일, 180일, 270일 단위로 성과를 점검하고 두 번 연속 목표를 달성하지 못한 프로젝트는 중단한다”고 말했다. 이어 “전체 프로젝트의 약 3분의 1을 종료하는데, 이는 오히려 건강한 운영 방식”이라고 평가했다.

AI가 실제 가치를 창출하고 조직 전반으로 확산되기 위해서는 업무 프로세스에 대한 깊은 이해와 함께 AI 기반 업무를 수행하는 사용자의 경험을 세심하게 설계하는 것이 중요하다.

전 페덱스(FedEx) 최고디지털·정보·혁신책임자(CDITO) 스리람 크리슈나사미는 “데이터 과학자가 제조 효율성을 높이는 훌륭한 모델을 개발하더라도 그것이 현장 관리자의 실제 업무 방식과 동떨어져 있다면 대규모로 활용되기는 어렵다”고 말했다.

AI 시대 오케스트레이터로 부상한 CIO

적절한 AI 활용 사례를 발굴하고 성공을 측정할 기준을 마련하기 위해 필요한 조직 체계와 운영 방식을 구축하는 데 CIO만큼 적합한 인물도 드물다. AI와 전반적인 기술 스택에 대한 깊은 이해는 물론, 다양한 사업 부문과 협업하며 조직 변화를 이끌어 온 경험이 있기 때문이다. 경영진이 CIO를 AI 전략의 핵심 조정자이자 실행 책임자로 주목하는 이유도 여기에 있다.

올해 조사 응답자의 46%는 CIO를 비즈니스 요구와 기회를 선제적으로 발굴하고, 이를 실현하기 위한 기술 및 공급업체 전략을 제안하는 비즈니스 리더로 인식했다. 또한 응답자의 83%는 CIO를 조직 변화의 핵심 추진자로 평가했다.

지난해와 마찬가지로 CEO가 IT 조직에 우선적으로 요구하는 과제는 AI 제품과 프로젝트를 발굴하고 도입하는 것이었다. 응답자의 27%가 이를 최우선 과제로 꼽았다. 또한 응답자의 79%는 IT 조직이 AI 활용을 위해 현업 부서와 이전보다 훨씬 긴밀하게 협력하고 있다고 답했다.

퍼스트 스튜던트의 CIO 숀 맥코맥은 “AI는 경영진의 적극적인 참여가 필수적이기 때문에 우리 조직에서는 CIO가 직접 주도하는 것이 가장 합리적이었다”고 말했다.

올해 IT 리더들은 AI·머신러닝(76%), 에이전틱 AI(70%), 사이버보안(63%) 분야에서 활동을 더욱 확대할 계획이라고 밝혔다. 기업들의 투자 역시 생성형 AI(67%), 머신러닝(66%), 에이전틱 AI(65%) 등 AI 전반에 걸쳐 증가할 것으로 전망됐다.

퍼스트 스튜던트는 현재 예측 유지보수, 차량 및 운전자 안전 관리, 계약서 작성, 채용 자동화, 에이전틱 소프트웨어 개발, 헬프데스크 및 인사 업무를 지원하는 음성 AI 에이전트 등 다양한 영역에서 AI를 실제 운영 환경에 적용하고 있다.

맥코맥은 AI 활용 사례가 늘어날수록 유연한 아키텍처가 중요하다고 강조했다.

맥코맥은 “시장이 너무 빠르게 변하고 있어 특정 솔루션을 선택하는 것 자체가 쉽지 않다”라며 “특정 플랫폼에 종속되지 않도록 자체 아키텍처를 구축하고 있으며, 필요할 경우 모델을 신속하게 교체할 수 있도록 설계하고 있다”고 설명했다.

AI만이 전부는 아니다…남아 있는 CIO의 핵심 과제

AI가 CIO 조직 전체가 매달려야 할 최우선 과제로 떠올랐지만, 올해 CEO들이 CIO에게 요구하는 과제는 그것만이 아니다.

사이버보안과 데이터 보안은 여전히 최고경영진의 주요 관심사다. 올해 조사 응답자의 25%는 이를 2026년 CEO의 핵심 우선순위로 꼽았으며, 이는 지난해 20%보다 증가한 수치다. 또한 응답자의 23%는 IT와 비즈니스 조직 간 협업 강화가 주요 과제라고 답했다.

이 같은 요구에 대응하기 위해 CIO들은 비즈니스 프로세스 및 IT 자동화(56%), 보안 및 리스크 관리(55%), 데이터 및 비즈니스 분석(54%) 분야 투자를 확대하고 있다.

렌슬리어 폴리테크닉 연구소(Rensselaer Polytechnic Institute, RPI)에서 가장 중요한 과제 역시 데이터와 거버넌스 기반 구축이다. 이는 향후 AI를 보다 광범위하게 도입하고 활용하기 위한 준비 작업의 일환이다.

부임 70일째를 맞은 CIO 안드레아 밸린저는 연구소가 AI 혁신의 초기 선도 그룹에 합류하는 것을 목표로 하지 않는다고 밝혔다. 대신 조직 구조와 데이터 생태계를 단계적으로 발전시키고 전환해 AI가 제공할 수 있는 장점을 최대한 활용하는 데 집중하고 있다고 설명했다.

현재 밸린저는 데이터 패브릭 계층, 보안 컨테이너 환경, 데이터 팩토리 접근 방식을 포함한 제안요청서(RFP)를 준비하고 있다.

밸린저는 “우리는 전략과 KPI를 중심으로 데이터 생태계를 설계하고 있다”라며 “전체 프로세스는 어떤 비즈니스 사례가 가치가 있는지 먼저 판단한 뒤 데이터 환경에 반영하는 방식으로 진행된다”고 말했다. 이어 “일단 시스템을 구축한 뒤 수익이 발생하길 기대하는 접근법은 고려하지 않고 있다”고 설명했다.

AI 혁신의 속도가 빨라지고 그 중요성이 커지면서 CIO의 역할 역시 기술 중심에서 비즈니스 중심으로 이동하고 있다. 올해 IT 리더 응답자의 84%는 CIO 역할이 디지털 혁신과 혁신 전략에 더욱 집중되고 있다고 답했다. 또한 82%는 CIO가 다른 경영진보다 디지털 전환을 보다 적극적으로 주도하고 있다고 평가했다.

현재 CIO는 평균 1.6개의 직책을 동시에 맡고 있다. 최고보안책임자(CSO), 최고정보보호책임자(CISO), 최고AI책임자(CAIO) 등 다양한 역할을 겸임하면서 업무 범위는 더욱 넓어지고 전략적 중요성도 커지고 있다.

특히 기존의 ‘시스템 운영 유지’ 중심 CIO 역할에서 벗어나 새로운 도전을 받아들이는 리더에게는 더욱 전략적이고 보람 있는 직무로 변화하고 있다는 평가다.

토머스 프로머는 “2026년의 CIO는 운영 아키텍트이자 리스크 책임자의 역할을 동시에 수행하는 하이브리드 리더”라며 “기술 선택은 점점 쉬워지고 있지만 비즈니스와 윤리적 판단은 더욱 어려워지고 있다”고 말했다. 이어 “기술 스택만 이해하는 CIO는 결국 기술과 비즈니스를 모두 이해하는 CIO에게 보고하게 될 것”이라고 강조했다.
dl-ciokorea@foundryco.com