CIO들은 생성형 AI 성장통과 씨름 중

생성형 AI의 잠재력을 비즈니스 가치로 전환하기 위해 가야 할 길은 여전히 가파르고 험난하다. 하지만 데이터, 플랫폼, 기술 등 생성형 AI 로드맵의 핵심 요소들이 진화하고 있다. 이는 지난주 액센츄어의 CAIO인 란 구안이 이끈 ‘Big.AI@MIT’ 이벤트내 ‘What’s Next for GenAI in Business’ 패널 토론에서 논의된 주요 내용이다.

구안은 S&P 글로벌 및 코닝의 AI 리더들과 함께 생성형 AI 모델을 비즈니스에 진정으로 가치 있게 만드는 데 필요한 기반에 대해 논의했다. 패널 토론에서는 생성형 AI 모델을 개념 증명 단계에서 생산 단계 전환하는 데 수반되는 막대한 과제도 다뤘다. 그녀가 인용한 액센츄어의 설문조사에 따르면 생성형 AI 모델을 생산에 도입한 기업은 10% 미만에 불과하다. 구안은 많은 CIO가 이러한 상황에 처해 있다고 말했다.

현재 사우디아라비아의 대형 항공사, 대형 제약회사, 하이테크 기업과 협력하여 생성형 AI 청사진을 구현하고 있는 구안은 “비즈니스 리더의 98%가 AI를 도입하고 싶다고 말하지만, 그 중 상당수는 방법을 모른다”라며, 안타깝게도 IT 경영진이 원하는 현실화 가능한생성형 AI 레퍼런스 아키텍처는 여전히 드물다고 말했다.

Accenture

진전 – 그리고 과제

액센츄어는 사우디아 항공과 함께 온라인 여행사, 예약 대행업체, 여행 가이드 그 이상의 ‘여행 동반자’ 모델을 구축하기 위해 노력하고 있다. 구안은 현재 배치된 지 6개월 된 이 모델이 300만 명의 방문객을 유치하고 일부 예약을 처리하고 있지만 그 가치는 훨씬 더 전략적이라고 전했다. 그녀는 이어 카타르항공과 경쟁하는 이 항공사가 예약률을 높이고 성장하는 시장에서 점유율을 확대하기 위해 에이전틱 AI와 LLM에 기대를 걸고 있다고 덧붙였다.

구안은 “그들의 주된 의도는 브랜드에 대한 인식 제고다. 더 나은 경험을 제공하려는 것이다. 단 이런 사례가 많다고는 아직 말할 수는 없다”라고 말했다.

코닝의 CDIO인 수미야 시타람은 자사가 몇 년 전부터 데이터 여정을 시작했으며, 비즈니스 거래 데이터의 70% 이상을 데이터 플랫폼에 수집하고 있다고 말했단. 단 아직은 구조화된 데이터일 뿐이라는 설명이다. 그는은 “솔직히 말해서 우리의 가장 큰 과제는 비정형 데이터다. 이제 코닝은 ‘[비정형 데이터를] 어떻게 분류하고 유용하게 활용할 수 있는 형태로 가져올 수 있는지 알아내야 한다’라고 말했다.

S&P 글로벌250의 CAIO인 바베시 다얄지는 다양한 데이터 구조를 생성형 AI 모델에 통합하기가 어려운 과제라고 덧붙였다. 이를 위해 이 금융 정보 및 분석 회사는 API를 개발하고 ‘데이터를 대용량 메모리 모델에 연결’하기 위한 각종 방법을 검토하고 있다. S&P 글로벌은 또 생성형 AI 모델의 환각을 테스트할 뿐만 아니라 결과와 효능을 평가하는 공통된 방법을 확보하기 위해 평가 세트를 만들었다. 금융 서비스 및 상품 시장의 전문가로서 표준 평가 방법이 있어야 한다는 판단에서다.

S&P 글로벌의 AI 혁신 허브인 켄쇼의 CEO이기도 한 다얄지는 “향후 각종 생성형 AI 모델과 솔루션을 평가하기 위해 해당 평가 세트를 [금융 서비스] 커뮤니티 전체로 확산하고자 한다. 데이터를 분석하면 해법을 찾을 수 있다고 본다”라고 말했다.

로드맵의 등장

액센츄어의 이 AI 책임자는 ‘쓰레기 투입, 쓰레기 출력’ 함정에 빠지지 않고 생성형 AI ROI를 극대화하려는 CIO에게 전하는 세 가지 핵심적인 조언을 제시했다.

무엇보다도, 모든 기업 데이터를 정리하고 기본 AI 모델에 사용할 수 있도록 적절히 준비해야 한다고 구안은 CIO닷컴과의 비공개 인터뷰에서 말했다. 그녀는 “데이터를 정리하지 않는 경우가 흔하다. 독점 데이터야말로 가장 큰 경쟁 우위 요소다”라며, 많은 CIO가 데이터 문제를 해결하려고 노력하고 있지만 대부분 생성형 AI를 위해 데이터를 제대로 준비하지 않고 있다고 지적했다.

둘째, CIO는 AI 개발 및 배포에 ‘플랫폼 기반 접근 방식’을 취해야 한다고 구안은 말했다. 메인프레임에서 생성형 AI 워크로드를 실행할 수 있지만 대부분은 퍼블릭 클라우드 또는 온프레미스 프라이빗 클라우드에서 실행될 것이라며, “이제 기업들이 데이터와 AI를 위해 기존의 엔터프라이즈 아키텍처를 다시 살펴봐야 할 때다”라고 구안은 말했다.

그녀는 이어 “AI에 대한 플랫폼 기반 접근 방식은 개별 사용 사례용 고가의 사일로화된 솔루션을 개발하는 대신 조직과 함께 진화하는 확장 가능하고 재사용 가능한 기반을 구축하는 것이다”라며 모델의 결과를 테스트하는 표준 수립이 필요하다는 앞서의 주장을 다시 언급했다.

이와 관련해 액센츄어는 생성형 AI 모델 생성 및 배포를 위한 플랫폼 기반 접근 방식인 자체 AI 리파이너리(AI Refinery)를 개발했다. 구안은 “실질적으로 AI 리파이너리는 지능과 컨텍스트가 내장된 인지 아키텍처다. AI 에이전트가 추론하고 계획하며 인간과 함께 작업하여 동적으로 작업을 실행할 수 있다”라며, “이 시스템은 LLM을 사용하여 인간의 의도를 해석하고 경험을 기반으로 적응하며 더 나은 의사 결정을 위해 조직의 지식을 통합한다”라고 설명했다.

마지막 조언은 적절한 AI 인력을 안정적으로 확보하고 생성형 AI 모델 구축 및 배포를 위한 전문 기술 라인업을 확보하라는 것이다. 대부분의 CIO는 직원을 충분히 빠르게 숙련시키거나 교육하지 못하고 있다. 데이터 과학자 및 GPU 인프라 계획 기술을 갖춘 소프트웨어 엔지니어를 포함한 다양한 인재를 구할 수 있는 여력도 부족한 상황이다.

구안 자신도 6년 전 액센츄어에서 데이터 과학자로 일하면서 소프트웨어 엔지니어링 기술, 애플리케이션 개발 기술, 인프라 계획 기술을 익혀 생성형 AI에 대비하기 시작했다.

이번 서밋에서는 다양한 AI 스타트업과 솔루션 제공업체가 참석하여 CIO와 CAO가 직면한 다양한 AI 과제를 해결할 수 있는 솔루션을 선보였다. 별도의 패널 토론에서 뉴 테크놀로지 벤처스(New Technology Ventures)와 언더스코어 VC(Underscore VC)의 벤처 캐피탈리스트들은 혁신을 위한 투자 자금이 풍부하지만 시장이 여전히 과대 광고 사이클에 있다는 점을 인정한다고 전했다다. 하지만 VC 패널의 사회자의 말처럼 대부분의 플레이어는 생성형 AI가 혁신적인 기술이라는 것을 알고 있다.

금융 예측 서비스를 제공하는 생성형 AI 스타트업 콜렉티브i의 공동 창업자이자 VC인 하이디 메서는 “이 변화의 규모를 사람들이 인식하고 있다. 소음을 읽어내야 하고 까다롭기는 하지만 향후 5~7년 동안 [중요한] 가치가 창출될 것”이라고 말했다.

한편 S&P의 다얄지는 기업이 직원들이 생성형 AI 모델 및 일상적인 업무를 처리하는 AI 에이전트와 상호 작용함에 따라 출현할 조직 내 역할을 미리 감안해야 한다고 덧붙였다. 그는 “우리 또한 직원들에게 지속적으로 교육을 실시하여 AI가 자신의 역할에 미치는 영향과 역할 수행 방식을 이해하도록 하고 있다. 다양한 업무를 수행하고 혁신할 수 있는 도구를 어떻게 제공할 것인지도 고민해야 한다”라고 말했다.
[email protected]