CIO조차도 30%가 AI 프로젝트 지표에 ‘막연’

IDC에 따르면 기업이 시도한 수십 개의 AI 개념 증명 프로젝트 중 다수가 실패하곤 한다. 여러 이유 중 하나는 CIO가 POC의 주요 지표 충족 여부를 모르기 때문이라고 이 시장조사기관은 밝혔다.

9월에 실시된 IDC 설문조사에서 CIO의 30%는 AI POC가 목표 KPI 지표를 충족하거나 성공으로 간주되는 비율을 모른다고 인정했다.

IDC의 컨설팅 및 연구 서비스 부문 글로벌 부사장인 다니엘 사로프는 기업들이 평균 37개의 AI POC를 실행하고 있다는 4월 IDC 설문조사와 함께, 이번 9월 설문조사는 많은 CIO가 막연한 시도를 하고 있음을 보여준다고 전했다. 벽에 스파게티를 던져 무엇이 달라붙는지 확인한다는 속담을 연상하게 한다고 그는 덧붙였다.

그에 따르면 수십 개의 AI POC 중 평균 5건만이 생산 단계에 들어가고 그 중 단 3건만이 성공적인 것으로 평가된다. 그 결과 많은 조직이 별다른 효과 없이 그저 많은 실험을 진행하는 ‘AI 스핀 사이클’이 발생하고 있다.

“KPI가 무엇인지 모른다고 말하는 것은 실제로는 ‘개념 증명을 결정할 때 성공의 척도가 없었다’는 뜻이다. 일부 POC에는 수백만 달러가 소요되는 데도 말이다”라고 그는 말했다.

한편, 9월 IDC의 설문조사에 참여한 응답자 중 약 70%는 맞춤형 AI 앱(custom-built AI apps) 10개 중 9개가 POC 단계를 통과하지 못하고 생산 단계로 넘어가지 못했다고 답했다. CIO의 35%는 내부에서 구축한 AI 앱 중 POC를 통과한 앱이 하나도 없다고 답했다.

공급업체가 구축한 AI 앱의 성공 비율도 크게 다르지 않았다. 외부 업체가 진행 AI POC의 실패율이 90%에 달한다고 답한 응답자가 2/3에 달했다.

성공 정의가 어렵다

설령 AI 앱이 프로덕션 단계에 도달하더라도 많은 CIO는 성공이 무엇인지에 대해 명확하게 알지 못했다. 거의 절반에 가까운 CIO가 AI 프로덕션 앱의 성공 여부를 모르거나 판단하기에는 너무 이른 상태라고 답했다.

사로프는 조직이 충분한 준비 없이 POC를 시작하는 사례가 많다며, 다수의 조직이 내부 데이터를 정리하고 체계화하지 않은 채 차세대 AI 프로젝트를 시작했다고 덧붙였다.

그는 “생성형 AI 프로젝트 사례를 면밀하게 살펴보면 잘못된 데이터가 성공의 걸림돌인 경우가 많다. 이 신기술에 대한 과대 광고가 난무하고 사람들은 서둘러 도입해야 한다고 생각하면서 준비 작업을 하지 않고 있다”라고 말했다.

VAR 업체인 에코스토어의 CIO인 다니엘 클라이드데일 코터는 데이터 관리 부족과 부적절한 액세스 관리가 AI POC 성공의 두 가지 주요 장애물로 보았다. “많은 기업이 데이터의 소유자, 데이터의 위치, AI 모델을 통해 액세스할 수 있는 사람을 제대로 고려하지 않고 AI를 서둘러 구현한다는 점이 우려스럽다”라고 그는 말했다.

그는 이어 “AI 프로젝트 성공에 대한 불확실성이 높다는 것은 조직이 독점 정보, 고객 데이터, AI 모델 학습 사이에 명확한 경계를 설정하지 않았기 때문일 수 있다”라고 덧붙였다.

클라이드데일 코터는 액세스 제어가 중요하다고 거듭 강조했다. 조직의 재무팀이 HR AI 도구에 사용되는 데이터에 액세스해서는 안 되며, 그 반대의 경우도 마찬가지다. 동시에, AI 도구가 작동하는 데 필요한 데이터가 조직 전체에 사일로화되어 있는 경우가 많다고 그는 지적했다.

계획의 부족

인사 및 직원 복리후생에 중점을 둔 컨설팅 기업 시걸(Segal)의 부사장 겸 수석 컨설턴트인 마이클 스토야노비치는 이번 IDC 연구의 결과에 대해 프로젝트 시작 전에 전략적 계획이 부족하다는 것을 의미한다고 말했다.

“AI 프로젝트의 성공을 평가하는 데 있어 명확성과 측정이 부족한 현실을 일깨운다. 이러한 불확실성은 리소스 낭비로 이어질 수 있다. 더 중요하게는 개선 기회를 놓치게 된다”라고 그는 말했다.

스토야노비치는 다수의 조직이 AI를 조직에 통합하기 위한 전략적 계획을 신중하게 수립하지 않고 무작정 뛰어들고 있다고 전했다. 그는 “잠시 멈춰서 심호흡을 하고 허리를 곧게 편 다음 신속하게 전략적 계획을 세우는 것이 적절할 뿐만 아니라 오히려 유익할 수 있다”라고 말했다.

AI 핀테크 기업인 로봅AI의 CTO 데이비드 커티스는 CIO의 거의 3분의 1이 성공 지표를 모르고, 90% 이상의 POC가 실패하고 있다는 IDC 조사 결과에 대해 ‘놀랍다’라면서도, 실제로 POC 다수가 명확한 지표 없이 추진되고 있다고 전했다.

그에 따르면, 생성형 AI 기업 도입을 추진하는 많은 사람들이 이 기술을 이해하지 못하고 있는 현실을 언급했다. 많은 경영진이 AI를 배포하는 데 필요한 업무량에 대해 오해하고 있으며, 일부 경영진은 AI가 많은 직원을 대체할 것이라고 잘못 생각하고 있다는 것이다.

커티스는 “AI를 다루는 데는 사용 사례에 따라 상당한 양의 작업이 필요하다. 단순히 기성품에서 무언가를 골라 실행하는 것이 아니다”라고 말했다.

물론 때로는 AI 실험 실패가 오히려 유익할 수 있다. 문제는 AI POC가 실패함에 다라 실험을 중단하는 사례가 적지 않다는 것이다. 커티스는 “많은 금융 서비스 회사에는 리스크 문화가 없다. 무언가가 실패하고 수백만 달러를 지출했다면 다시는 하지 않을 가능성이 높다”라고 말했다.

위험 회피 성향이 높은 기업이라면, 미리 계획을 잘 세우는 것이 수십 개의 POC를 시작하고 빠르게 실패하는 것보다 나을 접근법일 수 있다.

커티스는 “실제로 시작하기 전에 미리 위험을 일부 제거해야 한다. 내부 리소스가 풍족한 조직은 없었다. 37개의 POC를 만드는 것보다 시작하기에 의미 있는 두세 개로 줄이는 것이 바람직하다”라고 말했다.

전략적 요구 사항에서 시작해야

에코스토어의 클라이드데일 코터는 CIO가 여러 AI POC를 시작하기 전에 전략적 비즈니스 요구 사항을 신중하게 고려해야 한다고 조언했다. 스토야노비치와 마찬가지로, 그는 기업이 작은 효율성 업그레이드를 제공하는 프로젝트보다 경쟁 우위를 창출하는 AI 프로젝트에 더 집중할 것을 제안했다.

그는 함께 일했던 한 회사의 사례를 공유했다. 해당 회사는 내부 IT 서비스 요청을 지원하기 위해 대규모 언어 모델(LLM) AI를 도입하는 프로젝트를 시작했다. 이 POC는 AI를 사용하여 많은 IT 서비스 쿼리에 답변함으로써 운영 비용을 절감하고자 했다.

코터는 “결과 자체는 만족스러웠다. 하지만 결론은 ‘새로운 하드웨어 소프트웨어 요구 사항으로 인해 데이터센터에서 이를 실행하려면 100만 달러가 필요하다’는 것이었다”라며, “그러자 기업에서는 그냥 5명을 고용하겠다고 응답했다”라고 전했다.
[email protected]