“현실부터 파악하라”··· 전문가들의 에이전틱 AI 도입 조언 4가지

지난해 게시한 ‘생성형 AI 도입 효과를 극대화하는 5가지 팁’이라는 글에서, 필자는 우리가 진정한 혁신의 순간이 아닌 광범위한 실험과 시행착오가 일어나는 과도기에 있다고 설명했다. 오늘날 과장된 기대와 광범위한 도입 물결 속에서 생성형 AI가 최고 생산성 단계로 나아가려면 그 전에 기대치를 조정해야 한다고 언급했다.

오늘날 에이전틱 AI에 대한 과장된 기대는 전통적인 컨설팅과 프로그래밍의 종말을 논의하는 주장으로까지 번지고 있다. 또한 프로젝트를 며칠이나 몇 주가 아닌 몇 분 또는 몇 시간 내에 구현한다는 이야기도 듣고 있다. 그중 경험 많은 이들은 “실제 운영이 아닌 시제품에 한해서”와 같은 주의 사항을 덧붙이기도 한다.

기업들이 디지털 우선 전략에서 AI 우선 전략으로 전환하고 있는 만큼 AI와 에이전틱 AI의 혁신적 순간이 올 것은 분명하다. 그러나 현재 기술의 ‘하이프 사이클(Hype Cycle)’의 어느 위치에 있는지 고려하면, 이 기술은 여전히 ‘환멸의 골짜기’를 통과하고 벗어나야 한다.

가트너(Gartner)의 2025년 AI 구현 설문조사에 따르면, 기업들 사이에서는 스트레스 징후도 나타나고 있다. 인도 글로벌 역량 센터 리더의 87%가 생성형 AI 이니셔티브를 공개적으로 언급했지만, 실제로 비즈니스 성과에 실질적인 영향을 미치는 솔루션을 배포한 비율은 23%에 불과했다. 또한 KPMG의 ‘보이스 오브 더 CIO’ 보고서에 의하면 CIO들이 기술 업체의 생성형 AI 기능 도입을 수용할 것을 압박받으면서 문제와 불안이 증가하고 있다.

CIO가 에이전틱 AI 구현에 어떻게 접근하고 있는지 파악하고자 한다면, 여러 기술 리더의 조언을 참조할 만하다. 이 글에서는 그들의 진행 방식, 도입 속도, 그리고 실제 구현과 문제가 드러나면서 기대치를 재설정하는 것에 대한 의견을 다룬다. 대화를 바탕으로 CIO들이 에이전틱 AI 구현에 접근하는 데 도움이 될 4가지 권장 사항을 제시한다.

얼마나 빠르게 갈 수 있는지가 아니라, 얼마나 빠르게 가야 하는지를 파악

소프트웨어 개발업체 EDB의 CISO 댄 가르시아에 따르면, 그와 그의 팀은 각 에이전틱 AI 사용례에 따라 속도 조절이 필요하다는 점을 인식하고 있다. 팀은 자동화, 환각, 안전성 또는 데이터 오용이 추구하는 가치에 영향을 미칠 수 있는 영역에서는 더 신중하게 접근한다. 반면 비즈니스 ROI가 명확하고, 성숙한 데이터 인프라가 있으며, 관리 체계가 허용하는 영역에서는 빠르게 움직이고 있다. 가르시아는 “고객들 사이에서 이런 흐름이 나타나고 있다. 에이전틱 AI를 기대 수준으로 구현하려면 데이터, 로직 및 비즈니스 성과를 통제할 수 있는 자체 인프라가 필요하다. 따라서 얼마나 빨리 갈 수 있는지가 아니라, 얼마나 빨리 가야 하는지, 그리고 신뢰와 책임을 유지하기 위해 어디에서 여전히 사람의 개입이 필요한지가 문제다”라고 설명했다.

AI 에이전트 플랫폼 라이저AI(Lyzr.ai)의 최고 성장 책임자인 아니루드 나라얀은 일명 ‘하이브리드 사고방식’이 표준이 되고 있다고 말했다. 그에 따르면 하이브리드 사고방식이란 ‘파일럿은 빠르게, 실제 운영에의 도입은 천천히’ 접근하는 것을 의미한다. 그는 “CIO들은 빠른 성과를 얻기 위해 고립된 워크플로우에서 에이전틱 AI를 실험하지만, 특히 보안, 관찰 가능성 및 사람의 개입과 관련된 명확한 성공 지표가 충족된 후에만 전사적으로 확장하고 있다. 의사 결정 요소는 규제 리스크, 내부 데이터의 품질, 에이전트 배포 후 유지 관리할 수 있는 숙련된 운영자의 가용성에 중점을 두고 있다”라고 분석했다.

따라서 AI 벤더 솔루션을 자체 맞춤형 애플리케이션에 통합하는 경우, 배포 후 에이전트를 관리하고 유지 관리할 숙련된 팀이 필요할 가능성이 높다.

사용례와 기업의 복잡성을 고려

KPMG의 기술 컨설팅 책임자인 마커스 머프는 대부분의 기업이 민첩성과 신중함 사이에서 균형을 잡으려고 한다고 설명했다. 많은 기업이 초기 투자 수익을 보여줄 수 있는 저위험 영역에서 시작해, 시간이 지남에 따라 에이전틱 AI를 확장하기 위한 기반을 다지고 있다. 그러나 더 주목할 만한 패턴은 기업의 복잡성에 따라 나타난다고 그는 언급했다. 머프는 “기존 대기업들은 수십 년간 쌓인 시스템, 깊이 뿌리내린 업무 프로세스, 기술 부채 등을 다뤄야 하기 때문에 더 신중한 속도로 움직이고 있다. 반면 이런 제약에 묶이지 않은 소규모 조직이나 신생 기업은 더 빠르고 유연하게 움직인다”라고 말했다.

CIO는 리스크와 복잡성을 관리하기 위해 LLM 대신 소규모 언어 모델(SLM)을 탐색할 수도 있다. 여기서 사용례가 길잡이가 될 수 있으며, 많은 경우 SLM은 비즈니스 특화 AI 앱을 제공하는 데 더 적합하다.

통합과 확장을 위한 설계

대화를 나눈 기술 리더들은 모두 기대치를 재조정해야 한다는 데 동의했다. 머프는 “생성형 AI에서 봤듯이 과장된 기대치는 항상 현실보다 앞서가며, 에이전트 기술에서도 기대와 현실의 간극이 이미 느껴진다. 다행히 일부 고객은 이미 준비하고 있다. 그들은 단순히 에이전트를 구축하는 것이 아니라, 그 주변 기반을 함께 마련하고 있다. 이는 적절한 안전장치를 설정하고, 이해관계자의 기대치를 관리하며, 단순한 개념 증명이 아닌 통합과 확장을 위한 설계를 추구하고 있다는 의미”라고 말했다.

그는 또한 AI를 기술 문제가 아닌 비즈니스 문제로 접근하는 기업이 성공할 것이라고 봤다. 성공적인 AI 도입을 위해서는 기술 구현 외에도 비즈니스 프로세스의 대대적인 재구성과 인재 구조 개편이 필요하다는 설명이다.

EDB의 가르시아도 기대치 재조정이 단순히 다가오는 것이 아니라, 기업들이 관리, 확장성, 투자 가치를 균형 있게 추구하면서 빠르게 움직이려는 상황일 때 예측 가능한 일이라고 봤다. 그는 “지금 과장된 기대의 정점에 있으며, CIO들은 그 여파를 수습하는 입장이다. 협력 중인 앞선 리더들은 안전 장치와 예산 한도가 있는 통제된 파일럿 환경을 운영하고 반복하며 지속적으로 학습함으로써 팀을 과장된 기대로부터 보호하고 있다”라고 언급했다.

도약 기회 포착                 

CIO는 일상적인 시스템 운영과 혁신을 동시에 책임지는 위치에 있다. 따라서 AI와 에이전틱 AI를 주도하고 균형 잡힌 접근법을 취할 수 있는 유리한 입장에 있다.

KPMG의 최근 AI 펄스 설문조사에 따르면, AI 리더십이 CEO에서 CIO로 급격히 옮겨가고 있는 것으로 나타났다. 올해 1분기에는 CIO의 86%가 AI 관련 이니셔티브를 주도했으며, CEO는 단 8%에 그쳤다. 이는 지난해 같은 기간 CIO 31%, CEO 34%였던 것에 비해 상당한 변화다.

CIO들은 최고 AI 책임자(CAIO)와도 긴밀히 협력해 속도 조절을 돕고 있다. 가르시아는 “새로운 책임감이 생겨나고 있다. CIO는 빠르게 움직이고 싶어 하는 CAIO를 관리하고 있지만, CAIO는 종종 데이터 준비 상태, 법적 위험, 장기적인 운영 복잡성에 충분한 주의를 기울이지 않는다. 속도를 늦추는 것이 아니라 목적에 맞게 속도를 조절하는 것이 중요하다”라고 설명했다.

머프는 지금이 CIO와 CAIO가 함께 일할 수 있는 기회로 봤다. 그는 “CIO는 기술 스택을 이해하고 CAIO는 비즈니스 혁신을 이해하고 있다. 어느 쪽도 혼자서는 성공할 수 없다. 조언은 빠르고 현명하게 움직이라는 것이다. 이는 지금 시범 운영 준비가 된 영역, 안전 장치가 필요한 영역, 그리고 기술이 더 성숙해질 여지가 있는 부분을 합의해야 한다는 의미다. CIO와 CAIO 사이에 공유된 로드맵이 없다면 속도는 불안정해질 수 있다”라고 조언했다.

생성형 AI와 에이전틱 AI가 포함된 AI의 혁신적 순간은 반드시 올 가능성이 높다. 그곳에 도달하기 위해 CIO와 CAIO는 ‘목적에 맞는 속도 조절’ 접근법을 취하고, 기업 사용례와 복잡성을 길잡이로 삼으며, 통합과 확장을 위해 설계하고, 지속적으로 위험과 보상 사이의 적절한 균형을 맞추기 위해 노력할 수 있다.
[email protected]