가트너 “인프라·운영 관련 AI 프로젝트 28%만 성공…20%는 완전 실패”

7일 발표된 가트너 연구 결과에 따르면 I&O 분야의 AI 활용 사례 중 투자수익률(ROI) 기대치를 충족하며 완전히 성공한 비율은 28%에 그쳤으며, 20%는 완전히 실패한 것으로 나타났다.

가트너의 연구 책임자인 멜라니 프리즈에 따르면 이러한 실패는 여러 요인으로 인해 “가장 흔하게 발생”하며, 여기에는 AI 도구의 역량에 대한 비현실적인 기대와 실제 파일럿 단계에서의 역량 격차가 포함된다.

이번 결과는 지난해 MIT가 발표한 연구에서 생성형 AI 프로젝트의 95%가 측정 가능한 재무적 수익을 창출하지 못했다는 우려스러운 조사보다 개선된 수치다. 그러나 프리즈는 CIO닷컴과의 인터뷰에서 IT 부서 전반에서 여전히 광범위한 실험이 진행되고 있으며, I&O 전문가 팀이 “일단 시도해보는” 방식으로 프로젝트를 추진하는 경우가 많다고 설명했다.

프리즈는 예상된 ROI를 달성하기 위해서는 IT 부서가 AI 프로젝트를 부수적인 과제로 운영해서는 안 된다고 지적했다.

또한 가트너가 지난해 말 783명의 I&O 리더를 대상으로 실시한 설문조사에서, 최소 한 건 이상의 실패를 경험했다고 답한 57%의 I&O 리더 중 다수는 “AI 이니셔티브가 실패한 이유는 너무 많은 것을 너무 빠르게 기대했기 때문”이라고 밝혔다. 이들은 AI가 복잡한 업무를 즉시 자동화하고 비용을 절감하며 오랜 운영상의 문제를 해결할 것이라고 가정했다. 그러나 현실적인 기대치가 설정되지 않고 성과가 빠르게 나타나지 않자 신뢰가 하락하고 프로젝트가 정체됐다고 전했다.

프리즈는 이번 설문조사를 통해 AI의 ROI는 모델의 정교함이 아니라 기술이 실제 운영 요구와 얼마나 잘 통합되고, 적절히 거버넌스가 적용되며, 비즈니스와 정렬되어 있는지에 의해 결정된다는 점이 드러났다고 설명했다.

성공 요인

이와 관련해 가트너는 세 가지 핵심 성공 요인을 제시했다. 첫째, AI를 기존에 사용 중인 시스템과 업무 프로세스에 내재화하는 것이다. 가트너는 “AI가 일상적인 운영의 일부로 자리 잡을수록 도입률이 높아지고 조직 내에서 가시적인 성과를 창출할 수 있다”고 설명했다.

둘째, 성공적인 I&O 임원은 최고 경영진의 전폭적인 지원을 받는다. 이는 “장애 요소를 제거하고 우선순위를 정렬하며, 투자가 지속적으로 이루어지고 집중될 수 있도록 보장하는 데 도움을 준다”는 분석이다. 또한 현실적인 비즈니스 사례를 수립하는 것도 중요한 요소로 꼽혔다.

멜라니 프리즈 가트너 연구 책임자는 I&O 리더가 AI 활용 사례를 제품처럼 관리함으로써 우선순위를 설정하고 자금을 배분해야 한다고 조언했다. 프리즈는 “AI 활용 사례를 제품으로 관리하면 중복을 방지하고 시너지를 창출하며, I&O와 비즈니스 성과에 미치는 종합적인 영향을 추적할 수 있다”고 설명했다.

이어 프리즈는 “I&O 리더는 CIO, 데이터 및 분석, 보안, 법무, 재무 등 주요 이해관계자와 협력해 각 활용 사례의 실행 가능성, 위험, 비용, 예상되는 비즈니스 영향을 평가할 수 있다”며 “공통된 평가 모델을 활용하면 모든 활용 사례를 비교하고 순위를 매겨 투자 결정을 효과적으로 이끌 수 있다”고 전했다.

프리즈는 생성형 AI의 성공 사례 대부분이 특정 영역에서 나타난다고 지적했다. 대표적으로 IT 서비스 관리(ITSM)와 클라우드 운영 분야로, 이들 시장은 이미 성숙 단계에 접어들어 입증된 비즈니스 가치를 보유하고 있다. 실제로 I&O 리더의 53%가 AI 성과가 ITSM에서 발생했다고 응답했다. 프리즈는 “이러한 성과가 클라우드든 ITSM이든 조직 전반에 폭넓게 공유돼야 하며, AI 전략은 일관성을 유지한 채 중앙에서 주도적으로 추진돼야 한다”고 밝혔다.

비즈니스 사례 기반 접근 필요

프리즈는 CIO딧캄과의 인터뷰에서 명확한 계획 없이 AI 프로젝트를 시작하는 것은 바람직하지 않다고 강조했다. 프리즈는 “어떤 기술이든 ‘우리가 만들었으니 성공할 것’이라는 접근은 항상 바람직하지 않다”며 “AI는 반드시 비즈니스 사례에 기반해야 한다. 조직이 필요로 하는 것은 무엇인지, 목표는 무엇인지, 그리고 현재 도구로 해결하지 못하는 문제는 무엇인지 명확히 해야 한다. 이러한 전략적 프레임워크가 마련될 때 성공이 뒤따른다”고 설명했다.

또한 실패한 AI 프로젝트가 조직 전체에 영향을 미칠 수 있다는 점도 지적했다. 프리즈는 안전하고 신뢰할 수 있으며 가용성이 보장된 인프라를 제공하지 못할 경우 비즈니스 성과에 중대한 영향을 미칠 수 있다고 언급했다.

프리즈는 “실패 요인은 성공 요인과 다소 다르다”며 “명확하게 정의되고 중앙에서 승인된 AI 포트폴리오는 조직이 가장 중요한 영역에 자원을 집중하도록 돕는다. 무엇보다 단순한 우선순위 설정이 아니라 강력한 실행력과 비즈니스 도입이 AI의 실제 ROI를 결정한다”고 분석했다.

프리즈는 우선순위가 명확해지면 어떤 활용 사례에 어느 수준의 자금을 배정할지 결정할 수 있다고 설명했다. 프리즈는 “현재 많은 AI 이니셔티브가 개별 사업 부서의 예산으로 추진되고 있다”며 “그러나 AI 인프라 지출이 지속적으로 증가함에 따라 최고경영자(CEO)와 최고재무책임자(CFO)가 자금 조달 기준을 설정하고 주요 투자 승인에 보다 적극적인 역할을 수행해야 한다”고 전했다.
dl-ciokorea@foundryco.com