“ROI는 미흡, 경영진 기대는 여전”··· 딜로이트, 4분기 ‘생성형 AI 현황’ 발표

딜로이트 AI 연구소가 지난 21일 ‘기업 생성형 AI 현황‘ 4분기 보고서를 발표했다. 이에 따르면 AI, 특히 생성형 AI는 기업에 계속해서 영향을 미치고 있지만, 지금까지의 성과는 많은 기업 리더가 기대했던 것보다 크지 않고 더딘 속도로 진행되는 것으로 나타났다.

딜로이트 컨설팅의 AI 리더이자 수석 컨설턴트인 짐 로완은 “기업들이 AI의 실용적인 측면에 더 초점을 맞추고 있다”라고 설명했다. 로완은 최고경영진들이 혁신과 규제 사이의 긴장과 씨름하고 있다면서, 이것이 생성형 AI 프로젝트 진행을 늦추는 주요 요인이 되고 있다고 말했다.

4분기 설문조사는 지난해 7월부터 9월까지 AI 사용 경험이 있거나 생성형 AI를 시범 운영 또는 구현 중인 이사급에서 최고경영진까지 2,773명을 대상으로 진행됐다. 응답자는 14개국의 소비재, 에너지, 자원 및 산업재, 금융 서비스, 생명과학 및 의료, 기술·미디어·통신, 정부 및 공공 서비스 등 7개 산업 분야 종사자다.

응답자의 78%가 다음 회계연도에 AI 전반에 대한 투자를 확대할 계획이라고 답했지만, 3분의 2 이상은 향후 3~6개월 내에 진행 중인 생성형 AI 실험 중 실제 전면 도입까지 이어질 수 있는 비율이 30% 미만일 것이라고 전망했다.

로완은 “생성형 AI 도입이 쉬운 일이 아니다”라면서, “이는 단순히 AI만의 문제가 아니라 데이터, 보안, 거버넌스, 통제, 리스크, 법무, 컴플라이언스 부서가 IT 부서 및 비즈니스 리더와 함께 조화를 이뤄야 하는 문제”라고 설명했다.

주요 진입 장벽

응답자들이 생성형 AI 도구와 애플리케이션의 개발 및 배포를 가로막는 최대 걸림돌로 꼽은 요소는 규제 준수 우려였다. 1분기 설문조사에서 응답자 28%만이 이를 지목했지만, 4분기 설문조사에서는 같은 응답이 38%를 기록했다. 또한 응답자 69%는 생성형 AI 활용을 지원하기 위한 거버넌스 전략을 완전히 구현하는 데 1년 이상이 걸릴 것이라고 답했다.

기업 리더들은 생성형 AI의 대규모 구현이 어렵다는 것을 인식하고 있지만, 실질적인 성과도 나타나고 있다. 로완은 “기업들이 생성형 AI 도입에서 긍정적인 결과를 확인하면서, 단순히 기술을 따라잡는 데서 벗어나 경쟁사와의 차별화를 위한 전략적 도구로 활용하는 방향으로 전환하고 있다”라고 설명했다. 딜로이트 조사에 따르면 거의 모든 조직이 연간 생성형 AI 투자에서 측정 가능한 ROI가 나타났으며, 응답자의 20%는 31% 이상의 ROI를 창출했다고 밝혔다.

또한 연말에는 AI 에이전트가 급부상했다. 딜로이트의 이전 설문조사에서는 전혀 언급되지 않았으나 4분기에는 응답자 26%가 자율 에이전트 개발을 대폭 검토하고 있다고 답했다. ‘어느 정도’ 탐색하고 있다는 비율도 42%에 달했다.

모멘텀 확보

현재까지 생성형 AI의 가치를 최대로 창출하고 있는 부서는 IT다. 로완에 의하면 응답자의 28%는 가장 발전된 AI 이니셔티브가 IT 부서에서 이루어지고 있다고 답했다.

로완은 IT 부서의 성공 요인으로 기술에 대한 높은 관심, 생성형 AI 코드 생성 기능을 통한 시간 절약, 요구사항 수집 및 테스트 자동화 등을 꼽았다. 또한 자체적인 기술 활용을 통해 IT 부서가 인재를 육성하고 도구 사용 경험을 쌓는 데 도움이 되고 있다고 설명했다. 로완은 이것이 생성형 AI 시대에 CIO가 전략적으로 차별화할 기회를 보여준다고 언급했다.

그는 “특히 CIO는 이 분야에서 변화의 주체가 될 기회가 있다. 조직에서 기술에 대한 신뢰를 구축해야 한다. 다시 말해 HR과 협력해 회사에서 신뢰를 구축할 방법을 고민해야 한다. CIO는 이 영역에서 리더가 될 기회를 갖고 있다”라고 설명했다.

로완은 또한 CIO가 생성형 AI 확장과 관련된 비용을 관리하고 비즈니스 과제에 적합한 모델과 솔루션을 찾아야 할 책임이 있다고 덧붙였다.

그는 “적절한 TCO(총소유비용)를 달성하기 위해 대규모 파라미터 모델에서 소규모 파라미터 모델로의 전환을 신중하게 고려해야 한다. 또한 기술 업계와의 네트워크를 통해 생태계와 긴밀한 관계를 유지하고, 스타트업 커뮤니티는 물론 독립 소프트웨어 벤더와 클라우드 서비스 기업이 무엇을 하고 있는지 이해해야 한다. 이런 생태계를 긴밀하게 통합하고 제품 로드맵을 파악해야 한다”라고 조언했다.

현실적인 기대치 관리

CIO는 대규모 생성형 AI 배포의 장애물을 식별하고 극복하는 데 초점을 맞춰야 한다. 특히 실수가 있더라도 빠르게 회복하고 전환할 수 있는 역량을 갖춰야 한다고 로완은 설명했다.

이 과정에서 CIO는 다른 최고경영진의 기대치를 관리하고 현실적인 수준을 설정해야 할 가능성이 높다. 딜로이트 설문조사에 따르면 생성형 AI에 대한 관심과 기대감은 전반적으로 높은 수준이었지만, 최고경영진은 다른 직급보다 훨씬 높은 수준의 기대감을 보였다. 비최고경영진 응답자 중 생성형 AI가 이미 조직을 변화시키고 있다는 응답은 8%에 불과했으나, 최고경영진의 경우 같은 응답이 21%에 달했다.

최고경영진은 신뢰, 리스크 관리, 거버넌스, 규제 준수와 같은 장벽에 대한 우려가 적었다. 또한 조직이 얼마나 빠르게 움직이고 확장과 가치 창출의 장벽을 해결할 수 있는지에 대해서는 더 낙관적인 견해를 보였다. 반면 비최고경영진 응답자의 경우, 60%는 생성형 AI 확장 장벽을 극복하는 데 1년 이상이 걸릴 것이라고 전망했다.
[email protected]