CAIO가 이끄는 조직, AI 성과도 앞선다…AI 리더십 확보는 여전히 지지부진

AI를 도입하는 방식이 여전히 산발적이라는 점에서 많은 CIO가 그 심각성을 제대로 인식하지 못하고 있다. 지난 2년 반 동안 수많은 기업이 장기 전략 없이 수십 건의 AI 프로젝트를 동시에 추진했고, 수많은 PoC 실험이 실패로 돌아갔다. 반면 명확한 AI 전략을 수립하고 전담 리더를 둔 조직은 단기 효과뿐 아니라 장기적 성공까지 확보하고 있다는 것이 최근 조사 결과에서 나타났다. 전문가들은 여전히 대부분 기업이 AI 전담 리더 지정과 같은 필수 조치를 취하지 않고 있다고 지적한다.

가트너가 최근 발표한 설문조사에 따르면, AI 성숙도가 높은 조직의 리더 45%는 AI 프로젝트가 3년 이상 운영된다고 답했다. 장기적인 영향과 가치를 확보하고 있다는 의미다. 반면 AI 성숙도가 낮은 조직의 경우, 프로젝트가 3년 이상 지속된다고 답한 리더는 20%에 불과했다.

가트너는 AI 성숙도를 다양한 요소로 정의한다. 성숙한 조직은 여러 메트릭으로 AI 효과를 정기적으로 측정하고, AI 전략, 거버넌스, 데이터, 인프라 역량을 중앙집중화하고 있는 경우가 많다. 위험 요인에 대한 재무 분석, ROI 분석, 고객 영향력 측정 등도 정기적으로 수행하고 있다.

AI 리더가 필요한 이유

전략이나 거버넌스뿐 아니라 리더십의 역할도 중요하다. 가트너가 정의한 AI 성숙도 상위 조직의 90% 이상은 최고 AI 책임자(CAIO) 또는 CIO, CTO 등 AI 책임을 맡은 전담 리더를 두고 있는 것으로 나타났다. 관련 조사를 진행한 IBM 인스티튜트 포 비즈니스 밸류(Institute for Business Value)는 CAIO를 둔 조직이 AI 투자에서 10% 더 높은 ROI를 얻고 있으며, 혁신 성과가 경쟁사를 앞선다고 응답할 확률이 24% 더 높다고 밝혔다.

IBM은 전 세계 약 2,300개 조직을 대상으로 조사했는데, 그중 26%가 CAIO를 두고 있는 것으로 나타났다. 2023년 11%에서 크게 늘어난 수치다. CAIO의 절반 이상은 조직 내부 인재 중에 발탁했으며, CAIO의 2/3는 향후 2년 내 대부분 기업이 이 직책을 도입할 것으로 전망했다.

IBM 컨설팅의 생성형 AI 글로벌 총괄 책임자 매튜 캔디는 “AI 리더십에 대한 필요성과 실제 CAIO 임명, 또는 CIO에게 더 많은 AI 권한을 부여하는 것에는 간극이 있다”라고 지적했다. 여전히 절반 이상의 기업이 AI 파일럿 단계에 머물러 있다는 것이다.

매튜 캔디는 “많은 조직이 여전히 ‘파일럿 지옥’에 갇혀 있다”라며, “여전히 테스트와 학습, 파일럿 활동에 머물러 있는데, AI 리더 역할이야말로 파일럿 단계를 벗어나 실제 대규모 실행으로 전환하기 위한 핵심”이라고 강조했다.

또한 “AI 리더는 파일럿을 실제 운영 환경으로 전환할 수 있는 예산과 의사결정 권한을 가져야 한다. 기술에만 국한돼서는 안 된다”라고 덧붙였다.

CAIO 또는 AI 책임을 맡은 CIO의 중요한 목표 중 하나는 변화 관리와 직원 참여 확보이다. 캔디는 “기업의 비즈니스 전환을 어떻게 설계하고 AI를 운영에 통합하며, 거버넌스를 정립하고 사람과 팀을 어떻게 재교육할 것인가, 조직 전체를 문화적으로 변화시켜야 한다. 그런 과정을 통해서만 조직 전체 차원의 성과를 측정할 수 있다”고 설명했다.

단계별로 구축하는 AI 성숙도

가트너의 수석 애널리스트 비르기 타메르소이는 AI 성숙도는 다양한 요소를 고려해야 하기 때문에 단기간에 완성되기 어렵다고 설명했다. 하지만 시행착오를 통해 점진적으로 성숙한 AI 전략을 구축하면 더 나은 결과에 가까워질 수 있다고 덧붙였다.

타메르소이는 “AI 여정을 시작할 때는 공식적인 전략이 없는 경우가 많다. 그러나 시간이 지나면서 AI 전략을 수립하고, 이를 비즈니스에 깊이 통합하게 된다. 그렇게 성숙해질수록 AI 전략이 비즈니스 전략에까지 영향을 미치기 시작한다”고 말했다.

그는 AI 성숙도는 전략을 넘어선 다차원 개념이라며, “엔지니어링 측면에서 무엇을 하고 있는지를 명확히 알아야 하고, 솔루션의 신뢰성과 보안성, 안전성을 높이기 위한 거버넌스 체계도 갖춰야 한다”라고 설명했다. 또, “처음에는 소규모 실험부터 시작하지만, 경험과 지식이 쌓이면서 더 정교한 프로세스를 도입하게 된다”라고 덧붙였다.

클라우드 인프라 제공업체 벌쳐(Vultr)의 COO 데이비드 구커도 “작게 시작하는 접근이 효과적일 수 있으며, 조직은 운영 수준의 AI 활용에서 전사적인 변화 수준으로 전환하는 데 집중해야 한다”fk고 조언했다. 이 전환을 위해서는 단순한 실험 단계를 벗어나 AI를 전사적으로 통합하는 것이 필요하다. 구커는 “대부분 기업이 고립된 사용례나 PoC로 AI를 시작한다. 하지만 이런 시도가 가치를 입증하면, 다음 단계는 AI를 여러 부서와 기능에 걸쳐 확장하는 것”이라고 말했다.

구커는 AI 성숙도를 높이려면, 기업 리더십이 AI를 통해 어떤 비즈니스 혁신과 측정 가능한 가치를 창출할 것인지에 대한 공통 비전을 공유해야 한다고 강조했다. 이를 위해 전담 AI CoE를 구축하는 것도 효과적이라는 설명이다.

AI가 너무 버겁게 느껴진다면, 내부 전담 위원회를 구성하는 것도 방법이다. 이 범부서 협업 조직은 임원과 기술 리더를 포함해야 하며, AI 도입을 이끄는 동시에 거버넌스, 보안, 컴플라이언스를 함께 챙겨야 한다. 어떤 방식이든, AI 분야를 총괄할 책임자 지정은 필수이며, 그래야만 프로젝트의 지속성과 추진력을 유지할 수 있다.
dl-ciokorea@foundryco.com