포춘 1000 기업 AI 데이터 리더에게 조사한 ‘엔터프라이즈 AI의 현재와 미래’

2025 AI 및 데이터 리더십 임원 벤치마크 설문조사에 따르면, 생성형 AI에 대한 많은 우려에도 불구하고 기업들은 계속해서 이 기술을 탐구하고 생산에 적용하고 있다. 설문조사의 저자인 랜디 빈과 밥슨 대학의 IT 및 경영학 교수인 톰 데이븐포트는 올해 연구에서 생성형 AI가 점점 더 많이 업무 현장에 투입되고 있다고 밝혔다.

작년에는 응답자의 5%만이 이 기술을 대규모로 현장에 적용했다고 답했지만, 올해는 24%가 적용했다고 답했다. 초기 단계의 생산 현장 활용도 25%에서 47%로 증가했다. 생성형 AI를 아직 실험 중이라고 답한 비율은 29%였는데, 2024년 조사에서는 70%가 실험 중이라고 답했던 바 있다.

연구진은 포춘 선정 1,000대 기업 125곳의 AI 및 생성형 AI 사용 현황을 조사했다. 최고 데이터 책임자(CDO), 최고 데이터 및 분석 책임자(CDAO), 최고 인공지능 책임자(CAIO)가 전체 응답자의 91%를 차지했으며, 4%는 CIO 또는 CTO 직책을, 3%는 최고 경영진이었다. 대부분(85%)이 북미에 거주하고 있었다.

빈과 데이븐포트는 데이터 및 AI 리더들이 생성형 AI의 비즈니스 가치에 대해 긍정적으로 평가했으며, 과반수(58%)가 생산성 향상이나 효율성이 주요 가치라고 생각하고 있었다고 전했다. 응답자들은 또 허위 정보 또는 잘못된 정보의 확산(53.2%), 윤리적 편견(19.8%), 일자리 손실 또는 대체(4.8%) 등 AI로 인한 비즈니스 위협을 인정하면서도 AI의 전반적인 영향이 유익할 것으로 보고 있었다고 연구진은 밝혔다.

AI 운영 주체

한편 AI 운영과 관련해 CIO가 해야 할 역할에 대해 빈은 “이 부분에서 데이븐포트와 약간의 견해차가 있다”라고 말했다. 그는 “AI 이니셔티브를 추진하는 주체가 현업 측면에 있는지, 기술 측면에 있는지에 대해 조직마다 큰 차이가 있다”라고 말했다. 과거에는 기술 측면에 위치했지만, 점점 더 많은 데이터와 AI 리더가 비즈니스 측면으로 이동하는 변화가 나타났다. 빈은 “개인적으로 비즈니스 측면에 있어야 한다고 생각한다”라고 말했다.

데이븐포트는 “‘빈의 의견은 현업의 인물이 데이터 담당자여야 하고, 보고 대상이 CIO가 아니어야 한다는 것이다. 이 점에서 나와 의견 차이가 있다. 나는 CIO가 비즈니스 혁신에 집중하고 있다면 CIO에게 보고하는 것이 훨씬 낫다고 생각한다”라고 말했다.

”하지만 원하는 기술 이니셔티브를 가진 마케팅 담당자가 어떻게 해야 하는지, 무엇을 해야 하는지 알아내기 위해 4~5명의 다른 기술 리더를 찾아가야 한다면 매우 답답하고 다양한 문제가 발생할 수 있다고 본다”라고 그는 덧붙였다.

설문조사 응답자의 36.3%는 데이터 및 AI 운영이 현업 임원에 보고한다고 답했고, 47.2%는 기술 임원진이 주도권을 쥐고 있다고 답했다. 16.5%는 혁신 임원 등, 다른 경영진에게 보고한다고 응답했다.

비즈니스 가치는?

설문조사에 따르면 AI를 통한 생산성 향상을 주의 깊게 측정하는 기업은 거의 없다. 빈은 “포춘 1000대 기업의 90%는 기본적으로 한 세대 이상 된 전통 기업이라는 점에서 놀랍지 않은 결과”라고 말했다. 이러한 기업들은 상대적으로 더 신중하고 위험을 회피하는 경향을 가진다는 설명이다.

그는 “업계의 각종 호들갑에도 불구하고 이러한 기업들을 만날 때마다 최고 데이터 책임자, 최고 AI 책임자 등은 대개 ‘아직 초기 단계에 있다’고 말하곤 했다”라고 전했다.

올해 설문조사에서 놀라운 점이 있느냐는 질문에 데이븐포트는 “작년의 경우 생성형 AI가 조직의 데이터 문화에 큰 변화를 져온 것처럼 보였다”라며 그러나 올해의 양상은 다르다고 말했다. 그에 따르면 작년의 경우 ‘우리는 데이터 중심적이고 데이터 중심적인 문화를 가지고 있다’고 답한 기업의 비율이 전년과 비교해 두 배, 아니 두 배 이상 증가했다. 반면, 올해에는 증가율의 절반 수준으로 떨어졌다. “이는 생성형 AI만으로 조직의 데이터 문화를 변화시키는 데에는 한계가 있다는 점을 시사하는 듯하다”라고 그는 말했다.

한편 보고서는 설문조사에 참여한 데이터 및 AI 리더들이 생성형 AI의 비즈니스 가치에 대해 긍정적으로 평가하고 있다고 분석하고 있다. 거의 절반에 가까운 46%는 비즈니스 가치가 이미 높거나 상당하며 성장하고 있다고 답했고, 32%는 ‘소폭이지만 증가하고 있다’고 답했다. 대부분의 응답자(58%)는 “기하급수적인 생산성 향상 또는 효율성”이 주요 가치라고 바라봤다.
.
그러나 MIT 슬론 매니지먼트 리뷰에 게재된 이 결과에 대한 기사에서 보고서 저자들은 “기업들이 이러한 자신감을 너무 가져서는 안 된다”라고 지적했다. 무엇보다도 생산성 향상을 면밀히 측정하거나 지식 작업자들이 새롭게 확보한 시간으로 무엇을 하고 있는지 파악하는 기업은 거의 없다. 이들은 “생성형 AI의 생산성 향상을 측정한 학술 연구는 소수에 불과하며, 측정한 경우에도 일반적으로 약간의 개선이 있었지만 기하급수적인 개선은 아니었다”라고 말했다.

데이터 및 AI 리더십과 관련해서도 해결해야 할 과제가 남아 있다는 진단이다. 이 보고서는 “조직의 데이터와 AI 요구가 빠르게 진화함에 따라 CDO 역할이 변화하고 있다”라고 진단했다. 그러나 오늘날 CDO 역할은 이직률이 높고, 임기가 짧으며, 잘 이해되지 않는다는 특징이 있다. 보고서는 “CDO라는 역할이 조직의 변화 주도자로 인정받는 정도는 아니다. 그러나 응답자 대다수는 이 역할이 올바른 방향으로 진화하고 있다고 보고 있었다”라고 기술했다.

마지막으로 보고서에는 AI의 미래에 대해 AI 및 데이터 리더 다수는 낙관적이었다. “대부분의 조직(89%)은 AI가 인터넷과 마찬가지로 한 세대 안에 혁신적인 기술이 될 것이라고 믿고 있었다”라고 보고서는 기술했다.
dl-ciokorea@foundryco.com