AI ROI가 부진한 진짜 이유, 기술이 아니라 리더십이다

AI에 대한 기대와 과열된 관심이 그 어떤 기술 변화보다 커졌다고 평가된다. 이런 흐름에 맞춰 투자 규모도 덩달아 커졌다. 가트너는 2025년까지 전 세계 AI 투자 규모가 약 1조 5,000억 달러에 이를 것으로 추산했다. 거대한 투자 규모에도 불구하고 대부분 조직은 약속했던 가치와 실제로 실현된 가치 사이의 만성적인 격차에 여전히 시달리고 있다.

가장 널리 인용되는 근거는 올해 초 MIT 보고서에서 나왔다. 이 보고서는 생성형 AI 파일럿 프로젝트의 95%가 실패한다고 밝혔다. 맥킨지 조사에서도 거의 80%에 이르는 기업이 생성형 AI를 사용하고 있지만, 거의 같은 비율의 기업이 수익성에 의미 있는 효과를 얻지 못했다고 응답했다.

AI가 어느 정도 효과를 내고 있다는 근거도 있다. 2025년 시스코의 ‘AI 준비도 지표(AI Readiness Index)’에 따르면, 전체 기업의 13%는 AI에서 지속적으로 측정 가능한 수익을 얻고 있다고 답했다. 비록 소수이지만 선도 기업은 AI에서 가치를 끌어내기 시작했다는 의미다. 이런 가치의 출처는 점점 기술 자체가 아니라 리더십의 명확성, 전략적 정렬, 실행 역량에서 나오고 있다. 시스코의 AI 준비도 지표는 AI에서 가치를 실현한 기업의 99%가 변화 수용을 전제로 한 명확한 전략을 갖고 있고, 임직원이 새로운 기술에 익숙해지도록 지원하는 공식 프로그램을 운영하고 있다는 점을 확인했다.

오늘날 CEO와 CIO는 한 세대를 가르는 전환점에 서 있다. AI를 단순한 비용 절감 수단이 아니라 역량과 여력을 창출하고 혁신을 촉진하며 인간 중심의 결과를 이끄는 동력으로 재정의해야 하는 시기이다. 앞으로의 길은 업무를 잘게 쪼개고, 어디에 자동화를 적용해야 하는지 다시 평가하며, 인재가 성장과 변혁에 집중할 수 있도록 권한을 부여하는 리더십에 달려 있다.

성공을 위한 준비 : AI의 약속과 현실

많은 CIO에게 가장 큰 과제는 최고 경영진과 이사회가 “AI가 필요하다”는 사실은 알고 있지만, 정작 무엇을 위해 AI가 필요한지 명확하게 알지 못한다는 점이다. 이 때문에 AI가 모든 문제를 해결하고 생산성을 급등시켜 줄 만능 해결책이라는 비현실적인 기대가 생긴다. 처음부터 목표가 비현실적이면 프로젝트를 성공적으로 완료하고도 실패로 간주하는 상황이 발생한다. 여러 사업 부문이 사업 성과를 측정할 KPI를 갖추지 못한 점도 이런 문제를 부추긴다.

대표적인 예가 컨택센터다. 컨택센터에서는 상담사 코칭, 가상 상담사, 근무 스케줄링, 통화 스코어링, 콜 노트 작성 등 다양한 영역에 AI 에이전트를 활용할 수 있다. 하지만 이런 활동의 가치를 측정하기가 어렵기 때문에 많은 기업이 단순히 상담사 수를 줄여 비용 절감에 초점을 맞추는 방식으로 대응해 왔다. 이런 접근은 신중하게 실행하지 않으면 쉽게 역효과를 낸다. 예를 들어, 금융 서비스 회사 클라르나(Klarna)는 상담사 약 700명을 감축한 뒤 고객 서비스 점수가 급락하자 인력을 다시 채용해야 했다. 이 사례는 기술 문제가 아니라 경영진이 영향도를 제대로 파악하고 계획을 세우지 못한 리더십 문제였다.

문제 진단 : 기술적 한계인가, 리더십의 공백인가

AI와 자동화 기술에서 ROI를 얻지 못하는 문제를 진단하는 과정에서 실제 원인을 혼동하는 경우가 많다. 복잡한 데이터를 통합하고 자동화를 확장하는 기술적 준비가 부족한 것은 여전히 해결해야 할 과제이다. 하지만 실제로 개선 조치를 취해야 할 지점은 기술 그 자체가 아니라 기술 투자를 어떻게 지휘하고 이끌어 가는지에 더 가까운 경우가 많다. 이런 상황은 AI를 성공적으로 도입하는 데 방해가 되는 장애물이 코드나 클라우드 환경 설정이 아니라 이사회와 경영진에 더 가깝다는 사실을 시사한다. 많은 실패가 시장의 과열과 유행에 밀려 신속함을 우선하는 경영진의 선택에서 비롯되고, 진정한 비즈니스 변화를 고민하지 않은 채 추진하기 때문에 발생한다.

AI 프로젝트를 시작하기 전에 무엇을 측정하고, 어떤 지표로 투자수익률을 계산할지에 대해 비즈니스와 명확히 정렬하는 과정도 중요하다. 전략적 우선순위와 연계된 명확한 비즈니스 케이스 없이 고립된 기술 실험 형태로 출발한 프로젝트는 가치가 모호해 효과를 측정하기 어렵고, 예산 조정 시 우선적으로 잘려 나가기 쉽다.

리더십의 전환점 : 비용 절감을 넘어

비즈니스 세계는 리더십 전환점에 서 있다. 인력 혁신이 처음으로 ‘인간만의 문제’가 아닌 지점이다. AI와 자율 에이전트가 빠르게 확산되면서 경영진은 조직 안에서 가치를 어떻게 만들어내고 유지할지에 대해 훨씬 더 복잡한 결정을 내려야 한다. 이 변화는 비용을 줄이는 차원을 넘어, 인간의 역량과 AI 기술 역량 사이의 관계를 다시 설계하고, 조직 문화와 프로세스가 이런 하이브리드 인력 환경에 적응할 수 있도록 만드는 작업을 요구한다.

기업 인텔리전스 전문 업체 알포텐셜(r.Potential)의 CEO 그렉 슈메이커는 “많은 기업이 더 많은 AI 모델과 컴퓨트, 에이전트를 구축하는 데 경쟁하고 있지만, 엔터프라이즈 AI 도입의 실제 병목은 공급 측이 아니라 기업이 어디에 어떻게 AI를 활용해 실제 일을 처리할지 모른다는 점에 있다”라고 말했다. 슈메이커는 “누가 어떤 일을 해야 하는지에 대한 실제 수요를 포착하고, 사람과 AI 역량을 현실적으로 조합한 구성안을 만들며, 이를 실제 비즈니스 성과와 연계하는 인간-디지털 업무 조정 계층이 빠져 있다고 본다. 이 문제를 풀지 못하면 다음 자동화 물결은 기업을 재편하는 수준을 넘어, 일 자체를 불안정하게 만들 것”이라고 경고했다.

슈메이커의 지적은 많은 경영진이 간과하는 지점을 잘 보여준다. AI의 잠재력은 단순한 기술 혹은 운영 과제가 아니라 리더십의 본질을 묻는 문제라는 점이다. 인간이 해야 할 업무와 기계로 자동화할 업무 사이 경계가 흐려지는 상황에서 IT와 비즈니스 리더는 사람, 기술, 문화의 깊은 통합을 통해 가치 창출을 극대화하는 데 집중해야 한다.

그렇기 때문에 최고 경영진은 투자 타임라인을 다시 고민하고, 기술 및 시장 변화에 맞춰 조직의 역량을 확장하는 방식을 재설계해야 한다. 이런 인적 자원 관리의 변화는 미래 인력 구조를 예측하고, 사람과 기계 기반 지능을 연계해 인력을 배치하는 능력을 필요로 한다. 혁신은 현재 성과를 조금 보태는 차원이 아니라, 조직이 관련 인프라와 체계를 갖추고 스스로를 재창조할 준비가 되어 있는지 여부를 중심에 둬야 한다.

업무와 가치 창출의 분해

AI에서 이해 가능한 ROI를 도출하려면 업무를 구성하는 핵심 요소를 정확히 이해해야 한다. 어떤 수익이든 기술 도입뿐 아니라 프로세스 변화를 함께 고려해야 한다. 목표는 반복 작업에만 쓰이는 영역이 아니라 인간의 판단, 공감, 창의성이 필요한 영역에서 인간의 노력을 증폭시키는 방식으로 AI를 활용하고, 사람을 보다 높은 가치의 감독 및 대외 커뮤니케이션 역할에 배치해 생산성과 기여도를 극대화하는 데 있다.

성공의 핵심은 AI를 통해 인재가 매출 성장과 혁신을 주도할 수 있도록 돕는 방향으로 초점을 재조정하는 것이다. 목표는 어떤 직무에서든 80%에 달하는 자동화 가능 업무를 AI에 맡기고, 고숙련 인력이 나머지 20%에 집중하도록 만드는 것이다. 이 마지막 20%가 새로운 매출 성장, 고객 충성도, 혁신적 돌파구를 이끄는 영역이기 때문이다.

AI 시대에는 모든 산업이 재편될 것이며, CIO와 CEO가 함께 진화하지 않으면 AI 투자는 허공에 사라지는 비용이 된다. AI에서 실질적 가치를 얻기 위한 열쇠는 리더십이 미래 지향적 사고를 갖추고, 새로운 기술과 변화를 기꺼이 수용하느냐에 달려 있다. 중요한 것은 가장 뛰어난 코더가 되는 것이 아니라, 올바른 리더십 구조를 설계하는 일이다. AI를 사람 중심의 목표를 확장하는 도구로 활용하고, 단순히 운영 지표와 스프레드시트를 AI 데이터로 채우는 수단으로 쓰지 않는 리더십이 필요하다. 이를 위해서는 모든 의사결정 과정에 엄격한 윤리와 거버넌스를 심고, 각 AI 프로젝트가 조직에 어떤 목적을 수행하는지에 대해 비즈니스 측면에서 확실히 합의해 두어야 한다.
dl-ciokorea@foundryco.com