“CEO는 낙관, 데이터 책임자는 우려…AI 신뢰성 격차 드러나” 데이터이쿠 조사

통합 AI 플랫폼(The Universal AI Platform™) 업체 데이터이쿠(Dataiku)가 최근 발표한 ‘글로벌 AI 실태 보고서: 데이터 리더 에디션(Global AI Confessions Report: Data Leaders Edition)’에 따르면, 거의 모든 데이터 리더(95%)가 AI 의사결정 과정에 대해 완전한 가시성을 확보하지 못한다고 인정했다.

이번 조사는 데이터이쿠의 의뢰로 미국 시장 조사 기관인 해리스 폴(Harris Poll)이 미국, 영국, 프랑스, 독일, 아랍에미리트(UAE), 일본, 한국, 싱가포르의 데이터 부문 고위 임원 800여 명을 대상으로 실시했다. 응답자 86%는 AI가 이미 일상 업무에 깊숙이 자리 잡고 있다고 답했지만, 거버넌스 격차, 설명 가능성 부족, 과도한 신뢰에 대한 우려가 여전히 존재하는 것으로 나타났다. 특히, 단 19%만이 AI 에이전트 결과 승인 전에 작업 과정을 항상 공개하도록 요구하며, 52%는 설명 가능성 부족으로 에이전트 배포를 지연하거나 전면 중단한 경험이 있다고 밝혔다.

CIO와 CDO는 AI 성과에 대한 책임이 커지고 있는 것으로 나타났다. 응답자 46%는 AI 성과에 대해 공로를 인정받을 가능성이 높다고 답한 반면, 절반 이상(56%)은 AI 실패로 인한 비즈니스 손실에 대한 비난을 받을 가능성도 높다고 답했다. 또한, 60%는 향후 2년 내에 AI가 가시적인 성과를 내지 못할 경우 자신의 일자리가 위태로워질 수 있다고 우려했다.

응답자 59%는 지난 1년 동안 AI의 환각(hallucination)이나 오류(inaccuracy)로 인해 실제로 비즈니스 문제가 발생했다고 답했다. 또 82%는 AI가 상사보다 비즈니스 분석을 더 잘할 수 있다고 믿지만, 74%는 AI 오류율이 6%만 넘어도 사람 중심의 업무 방식으로 되돌아갈 것이라고 답했다. AI에 절대 맡기지 않을 업무 기능이 최소 하나 이상 있다고 답한 응답자는 89%에 달했다.

데이터이쿠가 올해 초 발표한 ‘글로벌 AI 실태 보고서: CEO 에디션’에서 CEO들은 AI 도입에 대해 대체로 낙관적인 시각을 보였다. 그러나 데이터 리더들은 보다 신중한 태도를 보였다.

응답자의 단 39%만이 자사 경영진이 AI를 제대로 이해하고 있다고 응답했으며, 68%는 경영진이 AI의 정확도를 과대평가하고 있다고 답했다. 73%는 경영진이 실제 운영에 앞서 AI 신뢰성을 확보하는 과정이 매우 어렵다는 점을 간과하고 있다고 지적했다. 56%는 AI 전략 실패로 인해 1년 내 CEO 교체 가능성이 높다고 예상했다.

CEO의 낙관적 태도와 데이터 책임자의 현실적 접근 사이의 괴리는 많은 AI 프로젝트가 여전히 개념검증(PoC) 단계에 머무는 이유를 보여주는 결과다.

데이터이쿠 CEO 플로리안 두에토는 “이번 보고서가 보여주는 놀라운 사실은 전 세계 기업이 완전히 신뢰하지 못하는 AI에 의존하고 있다는 점”이라며, “다행히도 실패한 AI 프로젝트의 대부분은 설명 가능성, 추적 가능성, 거버넌스를 강화함으로써 해결 가능하며, 이것이 바로 AI가 단순한 유행에서 벗어나 실질적인 비즈니스 성과를 창출하게 하는 방법이 될 것”이라고 말했다.

이밖에 주요 설문조사 결과는 다음과 같다.

• 응답자의 80%는 ‘정확하지만 설명 불가능한 AI의 의사결정’이 ‘잘못됐지만 설명 가능한 의사결정’보다 더 위험하다고 응답했다.
• 69%는 AI의 비즈니스 제안이 사람이 제안한 것보다 더 진지하게 받아들여진다고 응답했다.
• 19%만이 AI 에이전트가 ‘결과 도출 과정을 항상 보여줄 것’을 요구한다고 답했다.
• 52%는 설명 가능성 부족으로 인해 에이전트 배포를 지연하거나 중단한 경험이 있다고 답했다.
• 58%는 AI가 생성한 코드의 취약점이 ‘언젠가 재앙으로 이어질 것’이라고 우려했다.

자세한 내용은 ‘글로벌 AI 실태 보고서: 데이터 리더 에디션’ 전문을 통해 확인할 수 있다.
dl-ciokorea@foundryco.com