구글 “1년 내 성과” vs MIT “95% 실패”···AI ROI 평가는 왜 엇갈리나

클라우드 기반 인공지능(AI) 프로젝트의 투자수익률(ROI)을 평가할 때 논의는 극단적으로 갈린다. 일부는 기업이 큰 성과를 거두고 있다고 보고, 다른 일부는 끝없는 시행착오와 막대한 비용 속에 허우적거린다고 말한다. 구글 클라우드는 ‘AI의 ROI 2025’ 보고서를 통해 AI 에이전트를 조기 도입한 기업이 1년 안에 수익을 보고 있다고 강조하며 희망적인 전망을 내놨다. 그러나 이런 낙관론은 AI 프로젝트의 95%가 ROI를 내지 못한다고 밝힌, 여러 언론에서 인용한 MIT 보고서와 뚜렷한 대조를 이룬다. 과연 어느 쪽이 현실을 더 잘 반영하는 것일까?

두 연구 모두 타당성이 있지만 맥락이 중요하다. 구글 클라우드는 자사 클라우드 사업 확대라는 목표가 있는 만큼 성공 사례를 내세울 유인이 크다. 반면 MIT의 조사 결과는 상당수 기업이 직면한 냉혹한 현실을 반영한다. 자원과 자금, 인재가 부족해 의미 있는 성과를 내기 어려운 상황인 것이다. 이 모순된 결과를 풀어보고 실제 과제를 짚어볼 필요가 있다.

조기 도입 기업, ROI 확보했지만 높은 비용 부담

구글 클라우드 보고서의 핵심은 AI 도입에 과감히 투자하는 조기 도입 기업일수록 ROI를 실질적으로 경험할 가능성이 높다는 점이다. 조사에 따르면 전체 기업의 74%가 생성형 AI 프로젝트에서 1년 내 ROI를 달성했다고 답했다. 특히 응답자의 13%에 불과한 조기 도입 그룹은 효과가 더욱 뚜렷했다. 이들은 AI 예산의 절반 이상을 에이전트 배치에 투입하고, AI를 운영 전반에 깊이 통합한 것으로 나타났다.

보고서는 또 조기 도입 기업이 가장 큰 성과를 거둔 분야로 고객 서비스, 마케팅, 보안 운영, 소프트웨어 개발을 꼽았다. 이들은 단순히 프로세스를 자동화하는 차원을 넘어, 비즈니스 운영 자체를 AI 중심으로 재설계하고 있었다는 점에서 표면적으로만 시도하는 기업과 뚜렷한 차이를 보였다.

그러나 AI 예산의 50%를 한 가지 활용에 집중하는 방식은 대부분의 기업에는 비현실적이다. 상당수 기업은 자금 부족, 인재난, 과중한 IT 시스템 등으로 어려움을 겪고 있으며, 제한된 내부 지지, 부실한 전략, 단편적인 실행이 성과를 가로막고 있다. 결국 많은 기업이 AI 성공을 경험하지 못하는 것은 놀라운 일이 아니다.

구글 보고서를 향한 회의적 시선

구글 클라우드가 이번 보고서를 발표한 시점도 주목할 필요가 있다. 생성형 AI가 과도한 주목을 받고, 빅테크 기업 간 경쟁이 치열해진 상황에서 구글이 중립적인 태도로 연구를 내놨다고 보기 어렵다. 자사의 AI 역량을 부각할 동기가 충분하기 때문이다.

이와 달리 MIT는 전체 AI 프로젝트의 95%가 ROI 창출에 실패한다고 직설적으로 밝혔다. 이는 AI 담론 전반에서 낯선 결과가 아니다. 여러 조사에서도 기초 설계 부족, 비현실적 기대, 조직 전반으로 확장하는 과정의 어려움 때문에 기업이 좌절을 겪는다는 결과가 반복해서 나오고 있다.

현장에서 기업들과 협력한 경험으로 보더라도 이러한 어려움은 실재한다. 성공 사례가 존재하긴 하지만 대부분 예외적이다. 한정된 인재 풀, 불분명한 목표, 데이터 인프라 부족은 여전히 해결되지 않은 난관이다. 많은 조직이 기초를 다지기도 전에 과속을 시도하다 실패를 겪고 있다. 먼저 데이터 관리 역량을 확보하거나 현실적인 프로젝트 목표를 세우는 것이 더 나은 접근일 것이다.

야심과 역량의 간극

구글 클라우드 보고서의 긍정적인 결론은 중요한 메시지를 담고 있다. AI 성공은 대담한 기업에 유리하다는 것이다. AI를 핵심 전략으로 삼고, 과감히 투자하며, 운영 방식을 재정의하는 기업은 더 큰 성과를 거둘 가능성이 있다. 그러나 이는 성숙한 IT 역량이나 막대한 자원을 가진 일부 기업에만 해당한다. AI 성공에는 다음과 같은 전제 조건이 따른다.

• 장기적 투자를 감당할 충분한 예산
• 머신러닝·자연어처리 등 전문 역량을 갖춘 최고 수준의 인재 확보
• 견고한 데이터 생태계
• 조직 전반에 걸친 경영진의 지지

이 조건을 충족하는 기업은 소수에 불과하다. 나머지 기업은 AI에 손을 대더라도 결국 과장된 약속과 실망스러운 결과 사이에서 좌절하기 쉽다.

특히 인재 부족은 가장 심각한 문제다. 숙련된 데이터 과학자와 엔지니어를 채용하고 유지하는 것은 많은 기업, 특히 대형 테크기업과 경쟁할 수 없는 중소기업에는 불가능에 가깝다. 전략과 실행을 이끌 적임자가 없을 경우, AI 프로젝트는 시작조차 하기 전에 실패할 수밖에 없다.

연구 결과는 비판적으로 해석해야

단일 연구로 AI ROI의 절대적 진실을 정의할 수는 없다. 연구를 수행한 주체, 조사에 참여한 기업 표본, 이해관계에 따라 결과가 달라지기 때문이다. 예를 들어 구글 클라우드는 자사 클라우드 전략을 강화하기 위해 성공 사례를 강조할 동기가 분명하다. 반면 MIT와 같은 학계 연구는 엄격한 기준을 적용해 지나치게 비관적인 결과를 도출할 수 있다.

따라서 기업은 이러한 연구 결과를 절대적 진리로 받아들이기보다 비판적인 시각에서 해석해야 한다. 한 기업에서 효과적인 전략이 다른 기업에서도 똑같이 통할 수는 없다. 업종, 예산, 디지털 전환 성숙도에 따라 성과는 크게 달라질 수 있기 때문이다.

냉혹한 현실과 신중한 낙관론

AI는 흔히 ‘변혁적 기술’로 불리지만, 실제 변혁은 결코 쉽지 않다. 조기 도입 기업 일부가 빠른 성과를 내며 매출 성장을 자랑하고 있지만, 더 많은 기업은 여전히 기본기를 다지느라 어려움을 겪고 있다. 성공은 매우 불균형하게 분포돼 있으며, 대부분의 기업은 아직 AI 여정의 초기 단계에 머물러 있다. 데이터 프라이버시, 시스템 통합, 지속적인 투자 등 다양한 과제가 발목을 잡고 있는 것이다.

구글 클라우드의 낙관적 결론이 주목받더라도, 현실적으로 클라우드 내외에서 AI 성공은 여전히 드물다. ROI를 달성하기 위해서는 막대한 노력과 비전, 헌신이 필요하며, 많은 기업은 내부 장벽을 넘을 역량이 부족하다. 따라서 기업은 AI에 대해 현실적인 기대치를 세우고 신중하게 접근해야 한다. 과도한 기대만으로는 야심과 실행 사이의 간극을 메울 수 없다. 대신 체계적인 계획, 달성 가능한 일정, 적절한 자원 배분이 답이 될 수 있다. AI가 언젠가는 변혁적인 힘을 발휘할 수 있겠지만, 당분간은 일부 성공 사례에 국한될 가능성이 크다.
dl-ciokorea@foundryco.com