AI 성공의 관건은 ‘분산 데이터 문제 해결’

AI의 잠재력을 활용하기 위해 서두르던 CEO들은 벽에 부딪히고 있다. 무엇보다도 데이터가 혼란스럽다. 새로운 연구에 따르면, AI 에이전트를 적극적으로 도입하고 확장 계획을 세우고 있는 CEO는 61%에 달하지만, 50%는 급속한 기술 투자로 인해 분산되고 연결되지 않은 시스템 구조가 출현하고 있으며, 결과적으로 AI의 잠재력이 저해되고 있다고 인정했다. 이러한 데이터 혼란이 AI의 잠재력을 짓누르고 있다. 최근 몇 년간 AI 프로젝트의 25%만 예상 ROI를 달성했다.

IBM이 30개국 2,000명 CEO를 대상으로 한 조사에 따르면, 지난 몇 년 동안 기술 도입이 파편적으로 이뤄짐에 따라 AI 투자의 성과를 저해하는 분산된 시스템 구조가 출현했다.

IBM 컨설팅 부문 수석 부사장 겸 책임자 모하메드 알리는 보도자료에서 “CEO들이 AI 도입 시 단기 ROI 압력과 장기 혁신 투자 사이에서 균형을 맞추고 있다”라고 밝혔다. 또 68%의 CEO는 부서 간 협업을 위해 통합된 기업 전체 데이터 아키텍처가 필수적이라고 보고 있으며, 72%는 자체 데이터가 생성형 AI의 가치를 이끌어내는 열쇠로 보고 있었다.

QKS 그룹의 실무 담당 디렉터 아만디프 싱은 “파괴된 기반 위에 모델을 겹겹이 쌓는 접근법은 장기적인 AI ROI를 기대할 수 없게 한다”라며, 표면적인 AI 통합은 기술적 부채를 더욱 쌓는다고 경고했다.

이 밖에 IBM 부회장 게리 코언은 AI와 데이터의 미활용은 경쟁에 뒤처지는 선택이라고 지적했다.

데이터 단절은 사실 단순한 기술적 문제가 아니다. 전략적 문제에 해당한다. 조사 결과, CEO의 59%는 기존 운영 자금과 혁신 투자 사이의 균형을 맞추는 데 어려움을 겪고 있다며, 특히 예상치 못한 변화가 발생할 때 더욱 그렇다고 응답했다.

뒤처짐에 대한 두려움으로 인해 AI의 가치를 완전히 이해하지 못한 채 투자하고 있다고 인정한 CEO가 64%에 달했다. 아울러 2025년 AI 최고 책임자(CAIO)들은 AI 프로그램이 초기 시범 단계를 넘어 확장된다고 할지라도 평균 ROI가 14%에 그쳤다고 보고했다. IBM 연구는 또 혁신적인 개념 증명(PoC)이 눈길을 끌지만, 일관적인 비즈니스 결과로 이어지지 않고 있다고 지적했다.

사실 CEO 대다수는 AI가 큰 성장을 이끌 잠재력을 가지고 있음을 알고 있다. 하지만 85%가 2027년까지 AI 효율성 확대를 통해 긍정적인 ROI를 기대함에도 불구하고 취약한 기반이 문제다.

특히 데이터 문제가 AI의 주요 장애물로 지적된다. 딜로이트 연구에 따르면 AI 확대에 충분한 데이터 통합을 보고한 CEO는 절반에 그쳤다. 레거시 시스템의 복잡성, 일관성 없는 형식, 거버넌스 격차를 해결하려면 기술적이면서도 문화적 개선이 필요하다.

CEO들은 전략적 리더십과 인재가 AI 가치의 핵심임을 인식하지만, 기술 격차가 지속되고 있다. 직원의 약 3분의 1(31%)은 3년 내 AI 재교육이 필요하며, CEO의 54%는 새로운 AI 역할을 위해 채용 중이다. 인재 확보 경쟁을 반영하는 결과다.

연구는 신중한 낙관론이 필요하다고 강조했다. 생성형 AI에서 비용 절감 이외의 가치를 실현했다고 보고한 CEO는 52%에 불과하지만, 68%는 조직이 혁신 ROI를 측정하기 위한 명확한 지표를 보유하고 있다고 밝혔다. 2027년까지 성장과 확장에 초점을 맞춘 AI 투자에서 긍정적인 수익을 기대하는 CEO는 77%에 달했다. 그러나 이러한 성과는 CIO들이 현재 데이터 혼란을 해결하는 데 달려 있다.

데이터 스택을 제대로 구축하기

CIO들은 데이터 감사부터 시작해 격차를 파악하고 불일치를 정리하며 사용성을 확보해야 한다. 목표는 모든 데이터를 중앙 시스템에 쌓는 것이 아니라, 데이터가 구조화되고 관리되며 쉽게 접근 가능하도록 하는 것이다. 데이터 가상화 및 시스템 통합과 같은 스마트 도구를 활용하면 팀은 추가 복잡성 없이 통합된 뷰로 작업할 수 있다고 연구는 제안했다.

싱은 CIO들이 ‘데이터 제품 사고방식’(data product thinking)을 채택할 것을 촉구했다. 고품질의 재사용 가능한 데이터 세트를 비즈니스 자산처럼 취급하는 방식이다. 이 접근 방식이 제대로 구현되면 현지 재고 수요 예측이나 여행 비용 절감과 같은 실제 성과를 내는 AI 사례를 가능하게 한다.

이 밖에 실시간 AI를 구현하려면 CIO들은 시스템 간 연결을 강화하고 일상 업무에 지능을 내재화하는 데이터 패브릭을 구축해야 한다. 클라우드 네이티브 플랫폼은 팀이 부서 간 협업을 촉진하며, 이벤트 기반 아키텍처는 새로운 데이터가 들어오는 즉시 AI가 반응할 수 있도록 한다.

아울러 AI는 기업 특화 데이터로 훈련되어야 하며, 비즈니스 규칙, 윤리, 보안이 내재되어야 한다. 강력한 훈련 프레임워크와 피드백 루프는 AI가 문제를 탐지하고 프로세스를 개선하며 관련성을 유지하도록 돕는다고 연구는 덧붙였다.

싱은 “실제 비즈니스 워크플로우에 연결되지 않은 AI 모델은 생산 환경에 배포되어서는 안 된다. 올바르게 수행되면 이 재구성 과정이 데이터 혼란을 경쟁 우위로 바꿔낼 수 있다”라고 말했다.
dl-ciokorea@foundryco.com