“ROI는 어디에?” AI 도입을 재고하게 만드는 실패 사례

챗GPT 출시로 시작된 생성형 AI 혁명이 3년째를 맞이했지만, 일관된 AI ROI는 여전히 달성하기 어려운 상황이다. IBM 비즈니스 가치 연구소의 설문조사에 따르면, 최근 몇 년간 AI 이니셔티브 중 25%만이 ROI 기대치를 충족한 것으로 나타났다. 전사적 적용에 성공한 AI 프로젝트의 비율도 16%에 그쳤다.

문제의 원인 중 하나는 기업이 자사가 투자한 기술이 무엇인지 모른다는 것이다. 거의 2/3에 달하는 CEO가 새로운 기술의 가치를 명확히 파악하기 전에 기회를 놓칠지도 모른다는 두려움 때문에 신기술에 투자하는 경향이 있다고 인정한다. 이 때문에 ROI를 위해 서두르거나 그저 보여주기식의 AI 프로젝트를 시작하는 경우가 종종 발생하는데, 이는 프로젝트가 성공할 가능성은 매우 낮다.

실제로 지난 2년 반 동안의 AI 골드러시를 목격한 IT 전문가들은 AI 프로젝트의 부진한 성과에 놀라지 않는다.

핀테크 솔루션 업체 B2BROKER의 최고 제품 책임자 이반 나보드니는 “이번 설문조사 결과는 업계 전반의 상황과 정확하게 일치한다”라며, “측정 가능한 ROI를 달성하는 것은 말할 필요도 없다. 애초에 프로덕션 단계까지 도달하는 AI 프로젝트도 극히 일부에 불과하다”라고 꼬집었다.

많은 기업이 AI가 ‘트렌디한’ 기술이라는 이유로 AI에 뛰어들었지만, AI 기술로 어떤 문제를 해결하고자 하는지도 파악하지 못한 상태였다. 나보드니는 “이들 경영진은 브랜드가 AI를 우선시하는 것처럼 보이기를 원하지만, 해결해야 할 핵심 비즈니스 문제를 파악하는 대신 콘텐츠 생성 실험처럼 시급하지 않은 문제에 AI를 적용하는 경우가 많다”라며, “단순히 AI 열차에 올라타는 것이 중요한 것이 아니다. 올바른 방향으로 가고 있는지, 애초에 AI가 필요한지 확인하는 것이 중요하다”라고 강조했다.

전문지식 부족

많은 IT 및 비즈니스 리더가 내부 전문성이나 내부 사용자에게 기술을 적용해야 할 필요성을 고려하지 않고 AI 도입을 서둘렀는데, 기회를 놓칠 수 있다는 수 두려움에서 비롯된 경우가 많다. 나보드니는 “리더가 경쟁력을 유지하기 위해 빠르게 움직여야 한다는 압박감을 느끼면, 제품 품질보다 배포 속도를 우선시하여 중요한 단계를 건너뛰기도 한다”라며, “이는 매우 무모한 접근 방식이자 자원 낭비와 평판 손상을 초래하기 쉬운 방법이다”라고 지적했다.

IBM 컨설팅의 글로벌 매니징 파트너인 닐 다르는 AI 혁명의 속도 때문에 조직이 준비되기도 전에 CEO가 AI 도입을 결정한다고 말한다.

AI의 변화 속도로 인해 많은 CEO가 비즈니스 요구사항을 예측하는 것에 대해 우려를 표명했다. 2025년 IBM 설문조사에서 ceo의 가장 큰 관심사는 예측 정확성이었다. 다르는 “CEO는 끊임없이 주변을 둘러보고 각자의 비즈니스와 업계에서 어떤 변화가 일어날지 살펴봐야 한다. 그러기 위해서는 거시적인 트렌드를 지속적으로 파악하고 이에 대응해야 한다”라고 설명했다.

그럼에도 불구하고 많은 기업이 AI로 성공할 준비가 되기 전에 앞서 나갔다. 대표적인 사례가 내부 데이터를 정리하지도 않은 채 AI 이니셔티브를 시작하는 것이다. 다르는 “AI의 갑작스러운 확산으로 기업의 아주 작은 부분에 영향을 미칠 수 있는 특정 사안에 대해 창의적인 실험을 하고는 ‘전사적 가치가 있는가?’라고 반문하는 사람이 많았다”라고 지적했다.

위험과 이점 평가

금융 서비스 회사인 SWBC의 품질 엔지니어링 책임자인 나그마니 엘엔유는 많은 기업이 AI 성공을 위한 강력한 기반을 마련하지 못했을 뿐 아니라, AI 프로젝트를 통해 ROI를 달성하는 데 필요한 시간과 투자를 예측하지 못했다고 지적한다.

엘앤유는 “AI를 도입하기 전에 완벽한 결과를 보장하기 위해 모델을 효과적으로 학습시킬 수 있는 올바른 생태계를 갖추고 있는지 확인해야 한다”라며, “실수는 비용이 많이 든다. 우리는 위험이 가장 적은 영역에 집중하고자 한다”라고 설명했다.

과거의 실수에도 불구하고 기업은 여전히 AI 기술을 수용해야 한다. IBM 컨설팅의 다르는 “이 기술은 계속 발전할 것이며 모든 산업과 모든 직무에 지대한 영향을 미칠 것이다”라며, “생성형 AI가 무엇인지 제대로 파악하지 못하면 뒤처지게 될 것”이라고 덧붙였다.

하지만 설문조사에 따르면, 기업 CEO는 AI 도입 방식에 대해 다시 생각하기 시작한 것으로 보인다. 새로운 기술을 채택할 때 “옳고 느린” 것보다 “빠르고 틀린” 것이 낫다고 답한 CEO는 37%에 불과했는데, 이는 생성형 AI 초기와는 다른 변화이다.

CEO의 약 2/3는 현재 ROI에 기반한 AI 사용례에 의존하고 있다고 답해 지난 몇 년 동안의 변화를 알 수 있었다. CIO 역시 최근 들어 실험보다는 실용적인 애플리케이션으로 방향을 전환하면서 AI에 대한 시각을 바꾸고 있다.

필요한 노력을 과소평가하면 위험

기업은 AI에 뛰어들기 전에 신중하게 살펴봐야 한다. SWBC의 엘앤유는 “느리고 꾸준한 것이 경쟁에서 승리한다”라며, “움직이기 전에 위험을 파악하고 ROI가 매력적인지, 위험을 뛰어넘을 정도인지 평가해야 한다”라고 강조했다.

여러 사이버보안 서비스 업체의 모회사인 포인트 와일드(Point Wild)의 CTO 줄리프카 람잔은 대부분 기업은 유망한 AI 프로토타입에서 전사적 가치를 제공하는 프로덕션 수준의 시스템으로 전환하는 데 필요한 노력을 상당히 과소평가하고 있다고 지적했다. 또 많은 AI 프로젝트가 실패하는 이유는 기술에 결함이 있기 때문이 아니라 기업이 이를 실행하는 데 필요한 내부 기술이 부족하기 때문이라고 말한다.

람잔은 “AI는 강력한 도구이지만, 바보는 이런 도구를 가져도 여전히 바보이다”라며, “핵심 AI 코드를 작성하는 일은 엔지니어 한 명이 일주일이면 가능하지만, 그 기능을 프로덕션에 적용하는 데는 수개월의 시간과 수많은 인력이 필요할 수도 있다”라고 덧붙였다.
dl-ciokorea@foundryco.com