“급히 먹는 밥이 체한다” AI 도입 서두른 CIO들의 후회

핵심 AI 솔루션 구매를 서둘러 결정한 뒤 후회를 느끼는 CIO가 늘고 있다. AI가 내놓은 결과를 충분히 설명하지 못한 채 책임을 져야 하는 상황도 적지 않다는 조사 결과가 나왔다.

AI 오케스트레이션 기업 데이터이쿠(Dataiku)가 의뢰한 설문조사에 따르면, CIO의 3/4은 지난 18개월 동안 내린 주요 AI 솔루션 업체 또는 플랫폼 선택 가운데 최소 한 건에 대해 후회를 느낀다고 답했다. 이런 실망감의 배경에는 기대에 못미치는 AI의 성과가 자리하고 있는 것으로 나타났다.

응답자의 29%는 AI의 성과를 완전히 파악하지 못한 상태에서 투자를 정당화하라는 요구를 받은 적이 있다고 밝혔다. 데이터이쿠의 AI 전략 책임자 커트 뮈멜은 “이 결과를 보고 사회 구성원의 한 사람으로서 다소 불안감을 느꼈다. 기업이 점점 더 이런 시스템 위에서 돌아가고 있는데, 기술 도입에 대한 기대감이 앞선 나머지 거버넌스 프레임워크는 한두 걸음 뒤처져 있다”라고 우려를 표했다.

현재 AI의 확산 속도는 머신러닝을 포함한 다른 어떤 기술의 도입 속도보다 훨씬 빠르다고 진단했다. 머신러닝은 역량이 점진적으로 축적되면서 무엇이 통하고 무엇이 통하지 않는지 조직들이 함께 학습할 시간이라도 있었다. 뮈멜은 “특히, 지금의 에이전틱 AI는 너무 빠르게 확산하고 있어 필요한 수준의 거버넌스와 에이전트 운영 역량을 아직 충분히 갖추지 못했다. 업계 전반의 베스트 프랙티스도 아직 명확하게 정리되지 않았다”라고 설명했다.

교체 비용이 후회를 키운다

CIO의 후회는 결국 전환 비용과 맞닿아 있다는 분석도 나온다. 뮈멜은 일부 기업이 AI 에이전트를 도입하면서 특정 솔루션 업체에 지나치게 종속된 형태로 시스템을 구축하고 있다고 지적했다.

뮈멜은 “에이전트에는 작동 방식 전반을 규정하는 각종 지침과 오케스트레이션 로직이 들어간다”라며, “이를 특정 업체와 너무 강하게 묶어두면, 나중에 더 나은 모델이나 프레임워크가 등장했을 때 그 논리를 기존 시스템에서 떼어내는 비용이 매우 커진다”라고 말했다.

설문조사는 CIO들이 AI 성과를 반드시 입증해야 한다는 강한 압박도 받고 있음을 보여준다. 응답자 10명 중 6명은 지난 1년 동안 CEO로부터 AI 솔루션 업체 또는 플랫폼 선택에 대한 질문을 받았다고 답했다. 또 71%는 2026년 중반까지 목표를 달성하지 못할 경우 AI 예산이 삭감되거나 동결될 가능성이 높다고 봤다.

일부 IT 리더는 이런 결과가 현실과 맞닿아 있다고 말한다. 이메일·SMS 마케팅 기술 기업 옴니센드(Omnisend)의 엔지니어링 부사장 토마스 카즈라기스는 자사 초기 AI 도입 과정에서 자신도 설명하기 어려운 결과를 해명해야 했다고 털어놨다.

옴니센드도 다른 많은 기업과 마찬가지로 AI 열풍에 휩쓸려 성과를 지나치게 밀어붙였다. 카즈라기스는 “움직임 자체는 매우 컸지만, 우리가 실제로 어떤 결과를 목표로 하는지 설명하기는 어려웠다”라며, “결국 사람들에게 움직이라고만 했을 뿐, 명확한 목표나 측정 가능한 성과는 제시하지 못했다”라고 밝혔다.

지금도 긍정적인 AI 성과를 내야 한다는 압박을 받는다. 카즈라기스는 “경쟁사와 업계 네트워크는 모두 AI가 세상을 바꿀 것이라는 이야기로 들끓고 있다. 지금 뛰어들지 않으면 뒤처진다는 분위기다. 하지만 차분하게 비판적으로 들여다보면 이 대화에는 허황된 약속과 진짜 혁신이 반반씩 섞여 있다는 점이 금세 보인다”라고 덧붙였다.

너무 빠른 혁신 속도, 후회보다 학습이 중요

카즈라기스는 IT 리더가 냉정을 유지한 채 모든 AI 트렌드를 무작정 따라가려 해서는 안 된다고 강조했다. 다만 옴니센드가 내린 AI 솔루션 업체나 제품 선택 자체를 후회하지는 않는다고 선을 그었다. 카즈라기스는 “혁신 속도가 워낙 빨라 여러 AI 도구를 이미 교체했지만, 그것을 후회할 일이라고 보지는 않는다”라며, “대체 위험이 본질적으로 큰 혁신 기술을 다룰 때는 자연스럽게 감수해야 할 비용”이라고 말했다.

AI 옵저버빌리티 기업 몬테카를로(Monte Carlo)의 공동 설립자 겸 CTO 리오르 가비시도 도입한 AI 도구에 대해 후회는 없다고 밝혔다. 가비시는 “어떤 AI 기술은 매우 성공적이었고, 어떤 것은 그렇지 못했다”라며, “하지만 이렇게 빠르게 진화하는 시장에서는 실험과 실패가 필수적”이라고 설명했다.

몬테카를로는 AI 도입 성공의 핵심 조건 가운데 하나로 AI 도구를 필요한 데이터와 제대로 연결하는 일을 꼽았다. 가비시는 “그 연결을 제대로 하지 않았던 순간들은 분명 아쉬움이 남는다”라고 덧붙였다.

AI를 더 적극적으로 추진해야 한다는 압박 역시 인정했다. 가비시는 “AI 목표를 맞추라는 압박은 빠르게 변하는 시장에서 나온다. 고객은 이를 기대하고 있고, 그렇게 하지 않으면 경쟁사가 우리를 앞지를 것”이라고 지적했다.

다만 이런 압박은 시간이 갈수록 약해지기보다 성격이 달라질 것이라고 내다봤다. 초기에는 FOMO가 도입을 끌어당겼다면, 앞으로는 실험 단계에서 책임과 검증의 단계로 이동할 것이라는 분석이다. 가비시는 “기업은 이제 파일럿 단계를 지나 신뢰성, 거버넌스, 측정 가능한 ROI에 대해 더 까다로운 질문을 던지고 있다”라며, “도입 속도는 계속 유지되겠지만, 초점은 속도에서 신뢰와 운영 규율로 옮겨가고 있다. 장기적으로는 훨씬 건강한 국면”이라고 진단했다.

핀테크 AI 에이전트 기업 SAVVI AI의 CEO 마야 미하일로프는 경영진의 FOMO가 낳은 결과에 대해 CIO가 비난을 떠안는 경우가 많다고 지적했다. 많은 AI 결정이 기술 조직이 아니라 경영진에 의해 사실상 강요됐다는 것이다.

미하일로프는 “최고 경영진과 이사회에 팔리는 AI 데모와 장밋빛 약속, 그리고 실제 현장에서 AI 성공을 뒷받침할 데이터 준비 수준 사이에는 엄청난 간극이 있다”라며, “안타깝게도 CIO는 기술 책임자로서 레거시 시스템과 망가진 프로세스가 남아 있는 상황에서도 이런 선택을 작동시켜야 하는 그 부담을 고스란히 떠안고 있다”라고 말했다.

미하일로프는 기업이 AI를 도입할 때 구체적인 필요와 복잡성 대비 가치에 대한 이해를 바탕으로 판단해야 한다고 강조했다. 특히, “‘일단 챗GPT를 사두고 나중에 활용 방안을 찾자’는 접근은 비즈니스 전략이 아니다. 하지만 안타깝게도 지금은 그 책임까지 CIO가 지고 있는 상황”이라고 꼬집었다.
dl-ciokorea@foundryco.com