“90일마다 갈아엎는 AI 스택” 너무 빠른 기술 진화의 역설

AI 기술 교체가 잦아지면서 기업이 진화하는 AI 역량과 끊임없이 바뀌는 AI 전략에 대응하기 위해 AI 인프라를 계속 다시 구축하는 상황이 심각한 문제로 떠오르고 있다.

AI 데이터 품질 전문업체 클린랩(Cleanlab)의 조사에 따르면, 규제 산업에 속한 기업의 70%와 일반 기업의 41%가 3개월마다 최소 한 부분의 AI 스택을 교체하고, 규제·비규제 기업 모두의 또 다른 25%는 6개월 주기로 스택을 업데이트하고 있다.

클린랩 CEO 커티스 노스컷은 “소프트웨어 엔지니어링 책임자 1,800명 이상을 대상으로 한 이번 설문 결과는 조직이 빠르게 변하는 AI 환경을 따라가고 AI 에이전트를 실제 운영 환경에 배치하는 데 여전히 큰 어려움을 겪고 있음을 보여준다”라고 설명했다.

응답자 가운데 AI 에이전트를 이미 운영 환경에 배치했거나 조만간 배치할 계획이라고 밝힌 비율은 5%에 불과하다. 클린랩은 설문에 참여한 엔지니어가 제시한 기술적 난제 관련 답변을 토대로, 파일럿 단계를 넘어 AI 에이전트를 실제로 도입한 기업 비율을 1% 수준으로 추정했다.

노스컷은 “엔터프라이즈용 AI 에이전트는 아직 제대로 구현되지 않았으며, 시장에서 떠드는 수준에는 전혀 미치지 못한다”라며, “기업용 AI 에이전트 구성 요소를 팔기 위해 나섰다가 실패한 스타트업이 수백 개에 이른다”라고 덧붙였다.

너무 빠른 진화의 속도

클린랩의 노스컷은 “아직 본격적인 운영 단계에 이르지 않았는데도 그렇게 많은 조직이 몇 달마다 에이전트 기술 스택 구성 요소를 다시 짜고 있다는 사실은 AI 환경 변화 속도가 얼마나 빠른지를 보여줄 뿐 아니라, 에이전트 결과에 대한 신뢰가 부족하다는 의미이기도 하다”라고 주장했다.

에이전트 기술 스택 변경 범위에 대해서도 “기반 AI 모델의 버전을 업데이트하는 단순한 작업부터 폐쇄형 모델에서 오픈소스 모델로 옮기거나 에이전트 데이터 저장소인 데이터베이스를 바꾸는 것까지 다양하다”라고 설명했다. 또한, “많은 경우 스택의 한 구성 요소만 교체해도 이후 단계 전반에서 연쇄적인 변경이 뒤따른다”라고 덧붙였다.

최악의 시나리오도 소개했다. 직접 서버를 구축해 오픈소스 모델을 돌리기 시작하면 전체 인프라가 달라지고, 이전에는 신경 쓰지 않았던 온갖 문제를 감당해야 한다. 결국 ‘생각했던 것보다 상황이 더 나빠졌다’라는 판단을 내리게 될 수도 있다. 그래서 다른 모델로 되돌아갔다가 이번에는 클라우드로 옮기면, 해당 클라우드 API가 오픈AI API와 전혀 다른 방식으로 동작해 호환되지 않는다는 문제에 부딪힌다.

음성 기반 AI 서비스 업체 코즈모 AI(Cozmo AI)의 CTO 누하 하셈은 에이전트 기술 스택의 잦은 변경 패턴을 목격했다며, 클린랩 조사 결과가 규제 환경 전반에서 코즈모 AI가 확인한 잦은 교체 양상과 일치한다고 밝혔다.

하셈은 “초기 구축이 시험 환경과 운영 환경에서 전혀 다른 방식으로 동작하는 땜질식 구조인 경우가 많아, 많은 기업이 분기마다 스택 일부를 교체한다. 라이브러리나 라우팅 규칙을 조금만 바꿔도 에이전트의 업무 처리 방식이 달라지면서 다시 한 번 재구축을 할 수밖에 없다”라고 설명했다.

AI 진화 속도 자체가 잦은 재구축을 부추기기도 하지만, 문제의 상당 부분은 AI 모델을 조정하는 방식에서도 비롯된다는 지적이다. 하셈은 “더 근본적인 문제는 많은 에이전트 시스템이 명확한 규칙이 아니라 모델 내부에 숨어 있는 행동 패턴에 의존한다는 점이다”라며, “모델이 업데이트되면 이런 행동이 서서히 달라진다. 에이전트가 따라야 할 단계와 점검 절차를 명확하게 정의해 두면, 기술 스택이 계속 깨지지 않고도 진화할 수 있다”라고 덧붙였다.

낮은 신뢰 수준

또 다른 문제는 현재 사용 중인 AI 스택 구성 요소에 대한 만족도가 낮다는 점이다. 클린랩 설문은 에이전트 오케스트레이션, 빠른 추론, 관측 가능성 등 여러 에이전트 인프라 구성 요소에 대한 사용자 경험을 물었다. 응답자의 약 1/3만이 제시된 5개 구성 요소 가운데 어느 하나라도 만족한다고 답했으며, 약 40%는 각 구성 요소마다 대안을 찾고 있다고 밝혔다. 에이전트 보안과 가드레일에 만족한다고 답한 비율은 28%에 그쳐, 에이전트 결과에 대한 신뢰가 낮다는 점을 보여준다.

클린랩 설문이 현재 AI 에이전트 상황을 비관적으로 묘사한 것처럼 보일 수 있지만, 여러 AI 전문가는 조사 결론이 현실을 비교적 정확하게 반영하고 있다고 평가했다. AI 기반 고객경험 솔루션 업체 라이블리(Laivly)의 CEO 제프 페츠는 많은 기업이 몇 달마다 에이전트 스택 일부를 다시 구축한다는 사실이 전혀 놀랍지 않다며, 비슷한 현상을 직접 목격하고 있다고 전했다.

제프 페츠는 “AI 활용 측면에서 더 성공적인 조직을 가르는 요인은 반복적으로 개선하는 역량이다. 많은 기업이 여전히 과거 방식을 놓지 못한 채, AI 기술이 얼마나 빠르게 진화하는지 따라가기 위해 애쓰는 모습이 설문에 그대로 드러난다”라고 지적했다.

페츠는 “다른 주요 IT 플랫폼의 경우 CIO는 긴 평가와 도입 과정을 거치지만, AI 발전 속도가 워낙 빨라 이런 일정이 무너졌다”라고 설명했다. 또한 “과거에는 IT 부서가 장기 계획을 세운 뒤 기술 스택을 한 번 대대적으로 바꾸면 상당 기간 그대로 사용할 수 있었다. 하지만 지금은 계획을 절반 정도, 아니 그보다 조금만 진행해도 기술이 이미 너무 앞서 나가 처음부터 다시 시작해야 하는 상황에 직면한다”라고 덧붙였다.

기술이 진화하는 속도를 따라가지 못해 AI 파일럿 프로젝트를 중단하는 기업도 생겨나고 있다. 제프 페츠는 “이로 인해 많은 기업이 기존 활용 사례를 포기해야 하는 상황이 벌어지고 있다. 우리 스스로도 매우 짧은 시간 안에 자사 기술을 구식으로 만들고 있다는 사실을 잘 알고 있다”라고 말했다.

빠르게 진화하는 기술뿐 아니라 선택지가 지나치게 많은 AI 시장 구조도 CIO가 따라가기 어렵게 만드는 요인으로 지목된다. 페츠는 “이 분야로 밀려 들어온 신규 업체가 수백 개를 훌쩍 넘는다. 제대로 작동하지 않는 제품도 매우 많아, 무엇을 선택해야 할지 판단하기가 어려울 때가 많다”라고 덧붙였다.

제자리걸음의 위험

앱 개발사 탭포스(Tapforce)의 CTO 아르투르 발라반스키도 끊임없는 기술 진화 때문에 여러 기업이 몇 달마다 AI 스택을 다시 구축하는 모습을 확인하고 있다고 말했다. 발라반스키는 “지금 잘 돌아가는 것이 시간이 지나면 최선이 아닐 수 있다. 조직이 적극적으로 최신 기술을 따라가며 스택을 갱신하지 않으면 성능, 보안, 신뢰성 면에서 뒤처질 위험이 있다”라고 경고했다.

그러나 빈번한 재구축이 반드시 혼란으로 이어지는 것은 아니다. 발라반스키는 CIO가 에이전트 스택에 대해 강력한 버전 관리와 지속적인 모니터링, 모듈형 배포 방식을 결합한 계층적 접근 방식을 취해야 한다고 조언했다.

발라반스키는 “모듈형 아키텍처를 도입하면 필요할 때 전체 스택을 흔들지 않고도 개별 구성 요소를 교체할 수 있다”라고 말했다. 또 “기술이 계속 진화하는 상황에서도 운영 시스템의 신뢰성을 유지하려면 가드레일과 자동화된 테스트, 옵저버빌리티가 모두 필수 요소다”라고 강조했다.

클린랩의 커티스 노스컷은 IT 리더가 AI 에이전트를 배포하기 전에 에이전트가 수행해야 할 작업과 선행 조건을 상세히 정의하는 등 엄격한 절차를 거쳐야 한다고 조언했다. 노스컷은 “많은 사람이 ‘AI로 고객 지원을 해 보자’라고 말하는데, 이는 너무 포괄적인 수준의 목표에 불과하다”라고 지적했다.

노스컷은 “가장 먼저 해야 할 일은 ‘AI가 어디서부터 개입하는지, 기대하는 성능 수준은 무엇인지, 무엇을 달성해야 좋은 결과로 볼 것인지, 실제로 어떤 도구를 사용할 것인지’를 매우 구체적으로 정의하는 것이다”라고 강조했다.

설문 결과를 보면, AI 에이전트의 광범위한 도입까지는 많은 시간이 걸릴 것으로 보인다. 노스컷은 현재 1% 수준인 운영 단계 AI 에이전트 도입 비율이 2027년에는 3~4% 수준으로, 2030년에는 ‘진짜’ 에이전트를 운영 환경에 도입한 기업 비율이 30% 수준으로 높아질 것으로 내다봤다. 또한, AI 에이전트가 결국 큰 혜택을 가져오겠지만, 당분간은 AI를 지나치게 홍보하는 업계 인사가 과장된 수사를 자제해야 한다고 경고했다.

노스컷은 “이제 AI를 활용해 업무 효율을 높일 수 있는 단계에 왔고, 엔터프라이즈 AI가 모든 것을 자동화하고 모든 제품에 에이전트가 들어가는 세상도 머지않아 다가올 것이다. 다만 지금은 한 발 물러서서 냉정하게 합리적인 기대치를 세운다면, 이렇게 쏟아붓는 투자 자금이 실제 성과로 이어질 수 있을 것이다”라고 덧붙였다.
dl-ciokorea@foundryco.com