기업 70% AI 모델 3개 이상 운영…오픈AI 독주 속 클로드·제미나이 존재감 확대

데이터독이 발표한 ‘2026 AI 엔지니어링 현황 보고서(State of AI Engineering 2026)’는 실제 운영 환경에서 AI를 활용하는 수천 개 조직의 데이터를 분석한 결과를 담고 있다. 보고서는 AI 시스템이 고도화될수록 운영 복잡성이 증가하는 현상에 주목했다.

기업들의 멀티모델 전략 채택도 빠르게 확산되고 있다. 현재 약 10개 기업 중 7개(69%)가 3개 이상의 AI 모델을 사용하고 있으며, 6개 이상의 모델을 운영하는 비율도 전년 대비 두 배 가까이 늘었다. 이들 대부분은 복잡한 에이전트 기반 워크플로우도 함께 운영하고 있는 것으로 조사됐다. 단일 모델을 기본값으로 고수하는 대신, 워크로드별 지연 시간·비용·운영 리스크·작업 요건에 맞는 최적 모델을 조합해 운영하는 방식이 자리잡고 있다는 분석이다.

보고서에 따르면 운영 환경에서 발생하는 AI 모델 요청의 약 5%가 실패하고 있으며, 이 가운데 약 60%는 용량 한계와 관련된 문제로 분석됐다. 이러한 문제는 응답 지연이나 오류, 서비스 중단 등으로 이어질 수 있다.

오픈AI는 현재 63%의 점유율로 가장 널리 사용되는 AI 모델 제공업체로 나타났다. 다만 1년 전 75%에서 12% 하락한 수치다. 반면 구글 제미나이와 앤트로픽 클로드의 점유율은 각각 20%, 23% 상승했다. 두 모델의 현재 절대 점유율은 공개되지 않았다.

데이터독은 보고서를 통해 오픈AI의 점유율 하락이 절대적인 사용량 감소를 의미하지는 않는다고 밝혔다. 오픈AI를 사용하는 데이터독 고객 수는 오히려 두 배 이상 늘었으며, 다른 제공업체들이 더 빠르게 성장하는 가운데 상대적 점유율이 낮아진 것이라는 분석이다.

에이전트 프레임워크 도입 역시 전년 대비 두 배 가까이 늘었다. 에이전트 프레임워크는 개발 생산성을 높이는 데 기여하지만, 동시에 운영 환경에서 관리해야 할 구성요소를 증가시키는 요인으로도 작용하고 있다.

AI 서비스 규모가 확대되면서 처리 데이터량도 크게 늘고 있다. 사용량 기준 중간 수준(50번째 백분위) 기업의 평균 토큰 사용량은 전년 대비 두 배 이상 증가했으며, 상위 사용 그룹(90번째 백분위)에서는 약 네 배 증가한 것으로 나타났다.

데이터독 최고제품책임자(CPO) 얀빙 리는 “AI를 신뢰 있게 확장하려면 조직은 GPU 활용률부터 모델 동작, 에이전트 워크플로우에 이르기까지 전체 스택에 대한 실시간 가시성이 필수적”이라며 “대규모 환경에서는 어떤 모델을 선택하느냐보다 AI를 어떻게 운영하느냐가 더 중요한 경쟁력이 될 수 있다”고 전했다

보고서는 AI 도입 속도가 빨라지는 가운데 운영 통제와 가시성 확보의 중요성도 함께 커지고 있다고 분석했다. AI 시스템이 복잡해질수록 장애 원인이 단순한 기술적 결함을 넘어 분산된 워크플로우, 재시도 로직, 비효율적인 라우팅 등 시스템 구조 전반으로 확대되고 있기 때문이다.

리 CPO는 “AI 옵저버빌리티는 10년 전 클라우드 옵저버빌리티가 그랬듯 이제 AI 시대의 필수 인프라로 자리잡고 있다”고 전했다.
jihyun.lee@foundryco.com