AI 투자 급증한다··· “2028년까지 두 배로 증가”

AI 프로젝트 다수의 ROI가 아직 불확실한 와중에도, 분명한 것이 하나 있다. 앞으로 몇 년 동안 CIO가 이 기술에 훨씬 더 많은 비용을 지출할 것이라는 점이다. 리서치 기관 IDC는 AI 전략에 대한 기술 지출이 2025년 전 세계적으로 3,370억 달러에 달하고 2028년에는 두 배 이상 증가한 7,490억 달러에 이를 것으로 예상했다.

거의 모든 업종의 IT 리더들이 생성형 AI 개념 증명을 시도하고 있으며, 일부는 이미 생산 단계에 있다는 점에서 이러한 공격적인 수치는 CIO들에게 그리 놀랍지 않다. 예를 들어, 미국 중서부 지역의 전력회사 데어리랜드 파워(Dairyland Power Cooperative)의 CIO인 네이트 멜비는 문서 요약 자동화뿐만 아니라 폭풍우 시 전력망 관리에도 도움 되는 대규모 언어 모델(LLM)을 개발하고 있다고 전했다.

글로벌 전문 서비스 기업인 마시 맥클레넌은 약 40개의 차세대 AI 애플리케이션을 운영 중이다. 회사의 폴 베스윅 CIO는 효율성과 수익 창출 혁신이 입증됨에 따라 그 수가 급증할 것이라고 밝혔다. JP 모건 체이스는 투자 사업뿐만 아니라 체이스 트래블, 컨택 센터, 운영 센터, 신용카드 서비스국 등에도 수많은 생성형 AI 투자를 단행했다.

체이스의 CIO 길 하우스는 “생성형 AI는 혁신적인 기술이며, 현재 우리가 중점을 두고 있는 것은 사용 사례 기반 접근 방식이다”라며, ROI에 대해서는 아직 걱정하지 않는다고 말했다.

증가하는 AI 지출

IDC 전망에 따르면 2025년에 예상되는 AI 지출의 3분의 2(67%)가 핵심 비즈니스 운영에 AI를 도입하려는 기업에서 발생한다. 일부 기업은 세일즈포스나 서비스나우 등의 SaaS 공급업체를 이용할 것이고, 다른 기업은 AI로의 전환을 위한 기업 인프라 구축에 집중할 것으로 관측된다.

생성형 AI에 대한 투자가 클라우드 투자와 경쟁할 수 있지만, 그렇다고 해서 상위 클라우드 제공업체(이들 모두는 상위 AI 플랫폼 제공업체이기도 하다)가 어려움을 겪을 것이라는 의미는 아니다. 아마존 웹 서비스, 마이크로소프트 애저, 구글 클라우드 플랫폼 등이 2025년 엄청난 양의 생성형 AI 실험과 AI 배포를 지원할 것이라고 IDC는 예상했다.

클라우드 업체를 활용하면 초기 투자나 장기 약정이 필요하지 않기 때문에 대부분의 조직은 낮은 위험 부담으로 AI 이니셔티브를 시작할 수 있다. 또한 클라우드 공급업체들은 기본 GPU 인프라나 AI 애플리케이션 구축에 필요한 개발자 플랫폼 등 최신 AI 기술을 제공하고 있다,

IDC의 클라우드 및 엣지 인프라 서비스 담당 부사장이자 IDC의 연구를 수행한 여러 애널리스트 중 한 명인 데이브 맥카시는 “또 기업들은 파트너십 생태계를 활용하기 위해 클라우드를 선택하고 있다. 클라우드 업체는 기업이 AI를 시작하고 수요가 증가함에 따라 확장하는 데 필요한 모든 것을 제공하는 원스톱 상점이 되었다”라고 말했다.

그에 따르면 사실 이 두 가지 기술 발전은 공생 관계에 있다. “AI, 특히 생성형 AI의 등장은 클라우드 컴퓨팅의 잠재력을 더욱 증폭시켜 조직이 생산성을 높이고 혁신적인 비즈니스 모델을 모색할 수 있게 해준다”라고 그는 말했다.

IDC는 IT 리더들을 대상으로 AI의 구축과 구매 방정식에 대한 설문조사를 실시한 바 있다. 응답자의 3분의 1(34%)이 마이크로소프트 코파일럿(오피스 제품군) 구글 제미니(워크스페이스)와 같은 기존 엔터프라이즈 애플리케이션에 내장된 AI 기능을 사용할 계획이다.

맥카시는 “제품에 AI 기능을 추가하고 있는 SAP 및 세일즈와 같은 SaaS 제공업체의 솔루션도 있다. 이는 자체 모델과 애플리케이션을 개발하는 기술 없이도 AI의 이점을 누릴 수 있는 가장 쉬운 방법이다”라고 말했다.

IDC에 따르면 기업의 53%는 사전 학습된 모델로 시작하여 기업 데이터로 모델을 보강할 계획이다. 처음부터 모델을 구축할 계획을 가진 조직은 13%에 그친다.

CIO가 어떤 경로를 택하든, 지니가 다시는 병 속에 들어가지 않을 것이라는 점은 분명하다. 맥카시는 “단기적으로는 대부분의 기업이 비즈니스 프로세스를 근본적으로 바꾸지 않고도 구현할 수 있는 자동화 및 생산성 사용 사례에 초점을 맞추고 있다. 그러나 더 높은 가치를 지닌 사용 사례에는 새로운 비즈니스 모델이 포함되며, 이를 위해서는 광범위한 조직 변화가 필요하다”라고 말했다.

그러나 S&L 벤처스의 수석 고문이자 코베트러스(Covetrus)의 글로벌 기술 솔루션 CIO였던 스테판 크로울리는 이러한 미래가 아직은 다소 먼 이야기라고 바라본다. 그는 “기반을 구축하는 것과 AI 앱으로 프로덕션으로 전환하는 것은 다르다. 시간이 더 걸릴 것 같다. 그럼에도 불구하고 기반 기능에 막대한 지출이 있을 것이며 이를 잘 지원하는 클라우드 제공업체 등이 수혜를 볼 것”이라고 말했다.

탄탄한 기반과 준수한 거버넌스 확보

마시 맥레넌의 베스윅은 기본적인 애플리케이션을 넘어 내부 비즈니스 프로세스를 자동화하기 위해 생성형 AI를 공격적으로 도입할 계획이다. 그는 “AI가 자동화의 지평을 바꾸고 있다. 이러한 기회 중 상당수는 수천, 때로는 수백만 달러의 가치가 있다”라고 말했다.

베스윅은 이어 오픈 AI 기반 모델들을 사용함으로써 통념보다 훨씬 적은 비용으로 생성형 AI를 적용할 수 있었다고 덧붙였다. 그는 “제대로만 활용하면 AI는 꽤 저렴할 수 있다. 기술이 발전하는 속도를 따라잡기만 하면 된다. 또 지금까지의 가정에 끊임없이 도전하기만 하면 된다”라고 말했다.

이 글로벌 리스크 어드바이저 및 보험 중개업체는 이메일 및 문서 작성, 코딩, 번역, 고객 조사 등의 사용 사례에 생성형 AI를 활용하고 있다. 베스윅은 데이터 스키마 추출기, RFP 초안 생성기, 자연어를 사용하여 수십만 개의 데이터 포인트를 대규모로 분석하는 모델 등 자체 개발한 생성형 AI 혁신으로 100만 시간을 절 것으로 추산하고 있다.

그는 “모델을 쉽게 교체할 수 있도록 이 모든 것을 구축했다. 가격 대비 성능 뿐 아니라 리스크 프로필을 기준으로 어떤 모델을 사용할지 지속적으로 평가할 예정”이라고 말했다. 그의 회사는 또 별도의 팀이 AI 개발의 기반이 될 보안 및 거버넌스 플랫폼을 구축하도록 했다. 아울러 모든 직원을 교육하기 위해 AI 아카데미를 설립했다.

그는 “내년부터 아마존과 구글의 모델을 비롯해 다른 기업의 모델을 도입할 예정이다. 특정 사용 사례에 맞게 미세 조정된 소규모 언어 모델에도 많은 가치가 있다고 본다”라고 말했다.

베스윅을 비롯한 다른 CIO들도 사내 AI 위원회를 구성하고 기업 피해를 방지하고 확인되지 않은 ‘섀도우 AI’를 최소화하기 위해 설계된 AI 거버넌스 규칙을 수립하고 있다. 예를 들어, 체이스 하우스는 현재 AI 환각을 수정하고 가드레일과 거버넌스를 구축하는 데 집중적으로 투자하고 있다.

민감한 기업 데이터를 실수로 노출하거나 의도한 임무에서 벗어난 AI 모델을 설계할 수 있는 위험은 데어리랜드 파워의 멜비가 염두에 두고 있는 부분이다. “CIO는 이 분야의 변화하는 흐름을 인식하고 회사의 위험 허용 범위에 맞게 투자를 측정해야 한다. 비용과 이득을 비교해야 하며, 거버넌스가 확립됨에 따라 회사가 기꺼이 조정한다면 큰 이점이 있을 수 있다”라고 멜비는 말했다.
dl-ciokorea@foundryco.com