“AI 최대 도입 장벽은 GPU 비용” 오케스트로, 가상화 통한 해법 제시

AI‧클라우드 소프트웨어 전문 기업 오케스트로는 지난 6월 클라우드 서비스를 사용하는 기업 및 공공기관 종사자 6,615명을 대상으로 한 ‘클라우드 환경에서의 AI 활용 방안’ 설문 결과를 17일 발표했다.

AI 도입 시 가장 큰 제약 요인은 GPU 등 기술 도입 비용(23.5%)이었다. 이어 전문 인력 부족(22.6%), 데이터 보안 우려(14.4%)가 뒤를 이었다. AI 도입은 초기 구축비도 크지만, 사용량 기반의 과금 구조로 인해 장기적인 총소유비용(TCO) 부담이 크다. 여기에 AI 학습과 운영에 활용되는 핵심 데이터가 외부 클라우드에 저장되면서 보안 우려도 높아지고 있다.

오케스트로는 비용과 보안이라는 이중 부담 속에서 퍼블릭 클라우드 기반 AI 환경의 한계가 분명해지고 있으며, 내부 데이터를 활용한 프라이빗 AI 환경이 대세로 자리잡고 있다고 설명했다.

AI에 대한 기대 역시 현실적인 해법에 집중됐다. ‘비용 최적화’와 ‘실시간 보안 대응’이 각각 20.7%로 가장 높았고, ‘장애 원인 분석’(17.1%)과 ‘성능 병목 해소’(15.9%)가 뒤를 이었다. 이러한 기대는 기업이 실제 겪고 있는 클라우드 운영 과제와도 맞닿아 있었다. 응답 기업들은 비용 최적화(22.7%), 보안 관리(19.1%), 장애 대응(15.2%)을 주요 과제로 꼽았으며, 가장 많은 시간을 투입하는 작업 역시 비용 분석 및 최적화(22.7%)와 모니터링 및 장애 대응(19.5%) 순으로 나타났다.

운영상의 과제는 기업 규모에 따라 뚜렷한 차이를 보였다. 대기업은 보안 관리와 비용 분석에, 중견기업은 인프라 구성과 모니터링에, 중소기업은 비용 최적화에 집중하고 있었다. GPU 투자 여력에서도 격차가 컸다. 중견기업은 월 500만~2천만 원대(33.3%)에 몰렸고, 대기업은 월 1억 원 이상(34.5%)에 집중됐다.

오케스트로는 또한 클라우드 인프라 구조가 점점 더 복잡해지고 있다고 밝혔다. 이번 설문에서 전체 응답 기업의 49.1%가 멀티 또는 하이브리드 클라우드를 사용 중이라고 답했다. 불과 몇 년 전만 해도 대부분 기업이 단일 클라우드에 의존했지만, 이제는 절반에 가까운 기업이 복수의 클라우드를 활용하고 있는 셈이다. 이들 중 60.2%는 3개 이상의 클라우드를 동시에 운영 중인 것으로 조사됐다.

이처럼 점점 복잡해진 환경 속에서 오케스트로는 퍼블릭과 프라이빗은 물론 멀티‧하이브리드까지 아우르는 통합 관리 솔루션 ‘오케스트로 CMP’를 통해 운영 부담을 낮추고 있다. GPU 인프라 비용과 AI 도입 장벽을 낮추기 위한 ‘Cloud for AI’ 전략도 추진하고 있다.

기업들이 AI 도입에서 가장 큰 부담으로 느끼는 GPU 인프라 문제에 대해, 오케스트로는 서버 가상화 솔루션 ‘콘트라베이스(CONTRABASS)’로 해법을 제시한다. 고성능 연산이 요구되는 AI 환경에서는 GPU 자원을 효율적이고 안정적으로 활용하는 것이 핵심이다. 

콘트라베이스는 GPU 가상화와 최적화, 스케줄링, 모니터링 기능을 제공해 복잡한 클라우드 환경에서도 뛰어난 운영 효율과 안정성을 보장한다. VMware 환경을 사용하는 기업은 ‘콘트라베이스 레가토(CONTRABASS-Legato)’를 통해 시스템 중단 없이 마이그레이션을 수행할 수 있어, 기존 시스템 교체에 따른 부담을 줄일 수 있다.

오케스트로 김범재 대표는 “GPU 인프라 도입에 대한 부담과 데이터 보안에 대한 우려가 여전한 상황에서, 운영 효율성과 자동화를 중심으로 한 실질적인 AI 도입 전략이 중요해지고 있다. 오케스트로는 복잡한 클라우드 환경에서도 고객이 비용과 보안 걱정 없이 AI를 안정적으로 도입할 수 있도록 적극 지원하겠다”라고 말했다.
dl-ciokorea@foundryco.com