CIO의 AI 도입 성공을 좌우하는 4가지 핵심 과제

CIO는 생성형 AI 프로젝트에서 의미 있는 성과를 내야 한다는 압박을 받고 있지만, 비용의 급등과 복잡한 거버넌스 문제로 인해 성과를 내는 데 어려움을 겪고 있다고 가트너가 밝혔다.

가트너는 AI가 비즈니스를 혁신할 수 있는 잠재력을 갖고 있음에도 불구하고, 많은 고위 기술 리더가 예측 불가능한 비용, 불균형한 생산성 향상, AI 도입 확대에 따른 위험 증가와 씨름하고 있다고 분석했다.

가트너의 수석 부사장 애널리스트인 메리 메사글리오는 “기술 벤더들 간의 끊임없는 혁신 경쟁으로 인해 CIO는 AI가 혁신적이라는 이야기를 많이 듣고 압박을 받지만, AI 도입에서 가치를 창출하는 일이 예상보다 복잡하고 어려워서 기대와 현실 사이의 괴리감을 느끼고 있다”라고 설명했다.

가트너가 2024년 중반 451명의 고위 기술 임원을 대상으로 실시한 설문조사에 따르면, 참여자중 57%의 CIO가 AI 전략을 주도하는 임무를 맡고 있다고 응답했다. 그러나 AI의 잠재적 가치를 온전히 실현하는 것은 여전히 어려운 과제이며, 다음 4가지 요인이 이를 방해하고 있는 것으로 나타났다.

불균형한 생산성 향상으로 인한 장벽

CIO가 직면한 첫 번째 핵심 과제는 생성형 AI가 가져오는 생산성 향상이 조직 내에서 균일하게 나타나지 않는다는 점이다. 설문조사에 참여한 미국, 영국, 호주, 인도, 중국의 직원 중 일부는 워크플로에 생성형 AI를 통합하여 주당 평균 3.6시간을 절약했다고 답했다. 하지만 이러한 이점을 모든 직원이 동일하게 체감하지는 못했다.

가트너의 연구에 따르면 생산성 향상은 업무 복잡성, 직원 경험, AI 도구에 대한 개인 참여도와 같은 요인에 따라 크게 달라진다.

가트너의 수석 부사장 애널리스트이자 펠로우인 헝 레홍은 “AI 생산성의 진정한 과제는 바로 여기에 있다”라며 “생성형 AI를 통한 생산성 향상은 균등하게 분배되지 않는다. 개인의 관심도와 도입 수준뿐만 아니라 업무의 복잡성과 경험 수준에 따라 직원마다 이득이 달라진다”고 설명했다.

이러한 문제를 해결하기 위해 가트너는 AI 기반 생산성을 포트폴리오처럼 취급하여 운영 개선과 비즈니스 모델을 재편하는 고보상, 획기적인 이니셔티브 간의 균형을 맞출 것을 제안했다.

통제 불능의 AI 비용

두 번째이자 가장 시급한 문제는 AI 구현 비용의 상승이다. 가트너의 데이터에 따르면 CIO의 90%가 AI 성공을 가로막는 주요 장애물로 통제 불능의 비용을 꼽았다.

인도의 대표적인 위성 방송사 디시TV(DishTV)의 CIO 아비셰크 굽타는 “모든 기업은 AI 프로젝트를 포함한 새로운 이니셔티브를 시작하기 전에 투자 수익률(ROI)을 평가해야 한다”고 강조했다. “모든 AI 이니셔티브를 동일한 기준으로 평가하는 것이 필수적이다. AI의 구체적인 비즈니스 사용 사례를 파악한 후에는 철저한 비용 추정을 수행하고 예상되는 비즈니스 결과와 비교하여 조정 및 가치를 보장해야 한다”고 설명했다.

가트너는 AI 비용 규모에 대한 정확한 이해가 없으면 기업이 비용을 최대 1,000%까지 과소평가해 광범위한 기술 이니셔티브를 무력화시킬 수 있는 재정적 실수를 범할 위험이 있다고 경고했다.

레홍은 “CIO는 AI 청구서를 이해해야 한다”라며 “비용 구성 요소와 가격 모델 옵션을 이해해야 하며, 이러한 비용을 절감하고 공급업체와 협상하는 방법을 알아야 한다. CIO는 기술 작동 방식뿐 아니라 비용이 어떻게 확장될지 테스트하는 개념 증명을 만들어야 한다”고 조언했다.

거버넌스 및 인적 문제로 더욱 복잡해지는 AI 도입

AI 기능의 분산으로 인한 거버넌스 및 데이터 관리의 복잡성은 또 다른 중요한 도전 과제다. 가트너의 조사 결과에 따르면 AI 솔루션의 35%만이 IT 부서 내부에서 구축되며, 대부분은 기존 기술 팀 외부에서 개발되는 것으로 나타났다. 이로 인해 데이터 프라이버시, 보안 및 일관성과 관련된 새로운 위험이 발생하여 CIO가 통제권을 유지하기가 더 어려워진다.

이러한 문제를 해결하기 위해 가트너는 “기술 샌드위치”라고 설명하며 계층화된 접근 방식을 제안했다.

레홍은 미래의 AI 기술 스택을 설명하면서 “바로 여기에서 ‘기술 샌드위치’라는 개념이 등장한다”고 말했다. “샌드위치의 맨 아래에는 일반적으로 중앙 집중화된 IT의 모든 데이터와 AI가 있다. 맨 위에는 모든 곳에서 오는 모든 데이터와 AI가 있으며, 일반적으로 분산되어 있다. 그리고 가운데에는 이 모든 것을 안전하게 만드는 신뢰, 위험 및 보안 관리(TRiSM) 기술이 들어 있다”고 설명했다.

메사글리오는 “CIO의 임무는 AI의 혼란을 처리할 수 있으면서도 새로운 기회를 열어둘 수 있는 기술 샌드위치를 설계하는 것”이라고 강조했다.

AI에 대한 저항

마지막으로, CIO는 종종 간과되는 AI 도입의 인간적 영향에 직면하고 있다. AI가 워크플로우와 역할을 재편함에 따라 일부 직원은 이를 수용하는 반면, 다른 직원은 이에 저항하거나 심지어 원망하여 생산성을 저해하는 직장 내 긴장으로 이어질 수 있다.

가트너의 조사에 따르면 이러한 위험이 성과에 큰 영향을 미칠 수 있음에도 불구하고 CIO의 20%만이 AI가 직원 복지에 미치는 행동 위험을 적극적으로 해결하고 있는 것으로 나타났다.

굽타는 “오늘날의 상호 연결된 환경에서는 챗GPT와 같은 도구가 상당한 관심을 불러일으키면서 AI의 이점에 대한 인식이 널리 퍼져 있다”고 언급했다. “이로 인해 비즈니스 사용자가 AI를 도입할 수 있도록 준비하는 CIO의 역할이 훨씬 쉬워졌다. 실제로 비즈니스 사용자는 워크플로우에 AI를 통합하는 방법을 적극적으로 모색하고 있다. 그러나 진정한 과제는 AI가 성능을 향상시키고 투자를 정당화할 수 있는 측정 가능한 프로젝트 결과를 제공할 수 있는 올바른 사용 사례를 식별하는 것”이라고 강조했다.

이러한 새로운 과제는 대규모 AI 배포의 복잡성을 부각시킨다. CIO의 성공은 기술 리더십뿐만 아니라 비용 관리, 거버넌스, 디지털 혁신의 인간적 측면을 마스터하는 데 달려 있다.
[email protected]