“AI 자신감은 높지만 실적은 아직” CIO 낙관과 현실의 간극

AIOps 기반 옵저버빌리티(Observability) 솔루션 업체 리버베드(Riverbed)가 최근 발표한 조사 결과에 따르면, 기술 전문가와 비즈니스 및 IT 리더의 88%가 “자사 AI 프로젝트가 기대를 충족하거나 능가할 것”이라고 답했지만, 실제로 기업 전체 차원에서 AI를 운영 중인 곳은 12%에 불과했다. 또한, AI 프로젝트 가운데 완전히 배포된 것은 10개 중 1개 수준으로, 기대감이 실행력보다 훨씬 앞서 있는 것으로 나타났다.

이 같은 결과는 최근 MIT 보고서에서도 확인된 바 있다. MIT는 생성형 AI 파일럿 프로젝트의 95%가 실패했다고 밝혔다.

조사에 참여한 기업은 지난 1년 사이 AI 투자액을 두 배로 늘렸지만, 응답자의 36%만이 “조직이 AI를 완전히 활용할 준비가 되어 있다”고 답했다.

리버베드의 CMO 짐 가간은 “경영진이 IT 실무자보다 AI에 대해 훨씬 낙관적인 경향을 보였다”라고 지적했다. 또, AI 확산의 주요 장애 요인으로 데이터 품질과 일관성 문제를 꼽았다.

응답자 다수는 자사 데이터가 AI에 적합한 수준인지 확신하지 못한다고 밝혔다. 다만 데이터 품질이 개선되고 있다는 응답도 있었다. 하지만 응답자의 1/3만이 데이터의 적합성과 일관성, 표준화 수준이 우수하다고 평가했으며, 품질과 완전성, 정확성, 무결성, 접근성, 활용성 측면에서 ‘우수하다’고 평가한 비율은 절반에도 미치지 못했다.

가간은 “AI에 대한 기대는 크지만, 진척 속도는 기대만큼 빠르지 않다”라며, “그래도 해마다 발전하고 있다. 단지 모든 요소가 하루아침에 맞물리긴 어렵다. AI가 제대로 작동하려면 시간이 필요하다”라고 말했다.

불명확한 기대치

툴스그룹(ToolsGroup)의 CTO 워런 윌비는 AI에 대한 CIO의 자신감이 과도한 이유 중 하나는 애초에 대부분의 조직이 명확한 기대치를 세우지 않았기 때문이라고 지적한다. 윌비는 “AI 도입 목표가 생산성 10% 향상인지, 인력 2% 감축인지조차 불분명하다. 기대치 자체가 명확하게 정의되지 않았다”라고 덧붙였다.

영국 IT 규제 자문회사 얼라인드 컨설팅 그룹(Aligned Consulting Group)의 총괄 파트너 파트리치아 베르티니는 “AI 기술을 실제로 구현하는 과정의 어려움보다 기대감이 앞서 있다”라고 분석했다. 베르티니는 “‘AI를 당장 도입해야 한다’는 압박감이 과도한 긴장감을 조성했다”라며, “많은 기업이 명확한 비전이나 실행 요건을 이해하지 못한 채 AI를 도입하고 있다. 무엇을 도입할지에만 집중하고, 어떻게 책임 있게 도입할지는 고려하지 않는다”라고 지적했다.

베르티니는 특히 “EU AI 법안이 요구하는 규정을 대부분 CIO가 준비하지 못하고 있다”라며, “우리가 데이터 출처 문서화, 편향성 테스트, 의사결정 흐름 공개 등 EU AI 법안이 요구하는 내용을 설명하면 CIO들이 깜짝 놀란다. 대부분 CIO는 그 내용을 전혀 몰랐다고 인정하고, 규제 담당 책임자도 전모를 제대로 전달하지 않고 있다”라고 경고했다.

AI 성과, 아직 갈 길 멀다

AI 도입은 규제와 거버넌스 문제뿐만 아니라 대부분 프로젝트가 아직 초기 단계에 머물러 있다는 점에서도 한계가 있다. 특히 에이전틱 AI는 높은 잠재력을 지녔지만 실제 구현은 이제 막 시작된 수준이다. 윌비는 “AI에 대한 열정은 결코 잘못된 게 아니다”라며 “다만 AI를 기업 전체로 확산시키기 어렵다는 것은, 그만큼 업무 방식 전반의 변화를 요구하는 대규모 전환 작업이 필요하기 때문”이라고 설명했다.

윌비는 “AI를 단순히 챗봇이나 자동 응답 시스템 같은 기능 업그레이드로 접근할 수도 있지만, 진정한 잠재력은 그 이상에 있다”라며, “에이전틱 AI는 플러그 앤 플레이 방식으로 간단히 도입할 수 있는 기술이 아니다. 업무 프로세스 자체를 재설계하고 지식 노동의 방식을 새롭게 정의해야 한다”라고 강조했다.

윌비는 향후 1년 안에 기업이 AI 도입에 필요한 운영적 변화를 이해하게 되면 큰 진전이 있을 것으로 내다봤다. 그는 “많은 경영진이 AI 도입의 영향력을 완전히 이해하지 못하고 있다”라며 “AI는 단순히 일을 자동화하는 것이 아니라, 사람이 직접 업무를 수행하는 대신 AI 에이전트를 관리하는 구조로 전환되는 대격변을 가져올 것”이라고 말했다.

또한, “에이전틱 AI의 잠재력은 엄청나지만, 완전한 배포까지는 시간이 필요하다. 상당한 노력과 투자가 뒤따라야 한다”라며 “성공의 핵심은 얼마나 빠르고 효율적으로 AI를 프로세스에 통합하고, 이를 뒷받침할 기반을 구축하느냐에 달려 있다”라고 덧붙였다.

AI 프로토타입을 실제 서비스로 전환하는 스타트업 타입데프(Typedef)의 공동 설립자 겸 CTO 요니 마이클도 “AI 프로젝트가 대규모로 상용화되기까지는 시간이 더 필요하다”라고 분석했다. 마이클은 “AI에 대한 기대감은 정당하다”면서도 “현재는 프로토타입에서 실제 배포 단계로 넘어가는 전환점이 2~3년 안에 도래할 것”이라고 전망했다.

마이클은 “시장의 열정은 진짜다. 리더들이 환상에 빠져 있는 것은 아니다”라고 말했다. 다만 “많은 경우, 노트북 환경이나 데모에서는 잘 작동하던 모델이 실제 운영 환경에서 대규모로 안정적으로 동작하기까지의 거리감을 과소평가한다”라고 지적했다.

안전장치 구축이 관건

마이클은 AI 프로젝트가 ‘파일럿의 함정’에 빠지지 않으려면 CIO가 가능한 한 빨리 AI 네이티브 인프라에 투자해야 한다고 조언했다. 마이클은 “기존 데이터 스택은 추론이나 비정형 데이터 처리를 염두에 두고 설계된 것이 아니다”라고 지적했다.

또한 CIO는 AI 프로젝트에 명확한 책임 체계와 안전장치를 내재화해야 한다고 강조했다. 마이클은 “파일럿을 비즈니스 KPI와 직접 연계하고, 오류율이나 지연시간, 비용 등에 사전 한도를 설정해야 한다. 시스템이 비정상적으로 작동할 때를 대비한 백업 경로도 반드시 마련해야 한다”고 조언했다.

이어 “데이터 과학자뿐만 아니라 데이터 엔지니어, 머신러닝 전문가, SRE 엔지니어가 함께 협업하는 다학제적 팀 구조가 필요하다. 중앙 IT, 인프라, AI 팀 간의 협업을 강화해야 한다. AI를 블랙박스로 두지 말고 핵심 운영의 일부로 통합해야 한다”라고 덧붙였다.

마지막으로 “AI 프로젝트는 한 번의 런칭으로 끝나는 일이 아니다. 지속적인 유지보수와 관리가 필수”라고 강조하며, “모델은 시간이 지나면 성능이 떨어지고, 데이터도 변하며, 사용자 패턴 역시 바뀐다. 재학습·롤백·섀도 모드·버전 관리 등을 위한 파이프라인이 필요하다”라고 설명했다.
dl-ciokorea@foundryco.com