“묻지마 AI 파일럿은 이제 끝” 전략적 접근으로 전환하는 CIO

지난 2년간 많은 조직이 수십 건의 AI 개념검증 프로젝트를 시도했지만, 높은 실패율과 실망스러운 ROI를 경험했다. 최근에는 이런 무차별 실험 방식에 대한 재평가가 본격화되고 있다. 업계 전문가에 따르면, 많은 기업이 AI PoC 수를 줄이고 있으며, 일부는 상용 AI 도구를 활용하거나 제한된 수의 전략적이고 집중적인 사용례에 주력하고 있다.

이제 기업은 AI의 잠재력을 탐색하던 광범위한 실험 시대를 지나 이제 소수의 사용례에 집중하고 있다. IT·경영 컨설팅 전문업체 아레트(AArete)의 AI·디지털·기술솔루션 담당 총괄 책임자 브루구 팡게는 “대규모 실험 중심에서 결과 중심의 AI 배포로 뚜렷한 전환이 일어나고 있다”라며, “다수의 PoC를 동시에 수행하기보다는 AI를 운영 워크플로우에 통합해 측정 가능한 결과를 낼 수 있는 소수의 사용례를 우선하고 있다”고 말했다.

대표적인 예로, 아레트의 한 고객사는 재무 부서가 송장 처리를 가장 비효율적인 업무로 파악하고, 생성형 AI, 자연어 처리, OCR를 활용해 이를 개선했다. 팡게는 “재무 부서 내부에서 주도한 이 프로젝트는 처리 시간과 정확도를 유의미하게 개선했고, 운영 기반이 부족했던 여러 병렬 실험보다 뛰어난 성과를 냈다”라며, “이런 집중적 접근은 데이터, 비즈니스 맥락, 운영 측면의 긴급성이 맞물린 명확한 이니셔티브에서 AI가 가장 큰 가치를 발휘한다는 실용적 변화 흐름을 보여준다”라고 설명했다.

저무는 AI POC의 시대

IDC가 2024년 4월 실시한 조사에 따르면, 기업당 평균 37건의 AI PoC가 진행 중인 것으로 나타났다. 그러나 일부 AI 전문가는 이 수치가 과소평가됐으며, 수백 건의 파일럿을 동시에 운영하는 대기업도 있다고 지적했다. 팡게는 수백 건의 PoC를 운영하던 기업도 현재는 약 30건 수준으로 줄어들었으며, 각 사업 부서는 3~5건의 실험에 집중하는 경우가 많다고 설명했다.

많은 전문가가 비슷한 추세를 지적하지만, 새로 시작하는 PoC가 얼마나 줄었는지 구체적 수치는 제시하지 않았다. 2024년 7월 데이터 관리 업체 히타치 밴타라가 발표한 최신 글로벌 데이터 인프라 보고서 역시 대부분 기업이 AI 프로젝트를 기존 연구개발처럼 2~3년 후 성과를 기대하는 장기적 투자로 바라보기 시작했다고 밝혔다.

히타치 밴타라의 AI 담당 CTO 제이슨 하디는 경영진이 AI 실험을 계속 요구하는 상황에서 IT 리더가 속도와 비용 간 균형을 맞춰야 한다고 지적했다. 하디는 “최근 고객과 나눈 거의 모든 대화에서 적은 수의 전략적 PoC를 수행하려는 논의가 나온다”라며, “초기 도입자는 준비가 부족한 상태에서 속도에 밀려 AI를 배포하는 사례가 많았지만, 최근에는 에이전틱 AI처럼 초점이 확장되면서 성공적 도입이 시작되고 있다”라고 설명했다.

하디는 더 많은 IT 리더가 뒤처질까 두려워 서두르는 심리에서 벗어나고 있으며, AI 실험의 이른바 ‘서부 개척 시대’가 끝나가고 있다고 평가했다. 이어 “PoC와 파일럿을 통해 가능한 결과를 넓게 탐색하는 무차별 접근은 실험적 성과나 저가치 결과를 좇으며 고객을 혼란스럽게 만들 수 있다”라며, “실행 청사진 없이 접근할 경우 동일한 기본 문제를 여러 방식으로 반복 시도하면서 비효율성이 심화된다”고 경고했다.

AI PoC, 논의의 방향을 바꿔라

IT 아웃소싱 업체 태스크어스(TaskUs)의 CIO 찬드라 벤카타라마니는 아직도 수십 건의 AI PoC를 추진하라는 압박을 받는 CIO라면 논의의 방향을 바꿔야 한다고 조언했다. 태스크어스는 소수의 고가치 POC에 중점을 둔 AI 도입 전략 프레임워크를 구축했다.

벤카타라마니는 “속도를 진전으로 착각하지 말라”라며, “AI 프로젝트를 많이 시작하라는 압박을 받을 때는 CIO가 논의를 실질적 영향으로 전환해야 한다. 명확한 비즈니스 목표와 직원 성과에 근거해 의사결정을 해야 한다”고 강조했다.

이와 함께 CIO가 장기적 관점으로 AI 도입에 접근할 것을 권고했다. AI 프로젝트는 운영 측면의 요구에 부합해야 하며, IT 리더는 배포한 AI 도구에 대해 팀과 고객의 신뢰를 쌓는 데 집중해야 한다고 설명했다. 벤카타라마니는 “선별적으로 접근하라. 단순히 형식적 절차를 채우기 위해 PoC를 진행하지 말라”라고 덧붙였다.

빠른 실패 경험의 가치

다만 일부 AI 전문가는 CIO가 여전히 AI 실험의 여지를 남겨야 한다고 강조했다. IDC의 생성형 AI 전략 프로그램 수석 리서치 디렉터 낸시 고어링은 “많은 기업이 코파일럿 같은 손쉬운 AI 도구를 도입했지만, IT 리더는 특화된 신규 AI 사용례를 찾을 때 경쟁우위를 확보할 수 있다”고 말했다.

고어링은 CIO가 여전히 빠르게 실패하는 실험적인 접근을 유지하고, 수천 개의 잠재적 사용례와 소수의 실제 프로젝트 간 균형을 잡아야 한다고 조언했다. 고어링은 “PoC에서 프로덕션으로 넘어가는 속도를 걱정하기보다는 새로운 아이디어를 빠르게 시험하고 그 가치 여부를 신속히 판단할 수 있는 시스템을 갖추는 것이 중요하다”라며, “PoC 숫자를 줄이기보다는 빠르게 실험할 수 있는 역량을 키워야 한다”라고 강조했다.

AI 플랫폼 솔루션 업체 도미노 데이터랩(Domino Data Lab)의 COO 토마스 로빈슨은 과거 POC 실패는 숫자보다는 거버넌스 부재가 더 큰 문제였다라고 지적했다. 또, IT 리더가 AI 프로젝트에 이정표를 설정하고, 진척 상황을 점검할 수 있는 프로젝트 관리 체계를 갖출 것으로 권고했다.

로빈슨은 “속도를 늦추는 것이 반드시 더 현명한 것도 아니다. 도미노는 거버넌스를 내재한 상태에서 AI 라이프사이클을 가속화하는 것이 오히려 더 나은 성과로 이어지는 것을 반복적으로 확인해왔다”라며, “핵심은 PoC 숫자를 줄이는 것이 아니라 통제된 속도(governed velocity)이다. 빠르게 실험하고 신속히 배우며, 효과가 입증된 것은 확장하되 규정 준수와 통제를 유지하는 것이 성공의 열쇠”라고 강조했다.
dl-ciokorea@foundryco.com