잘못된 클라우드 전략, AI 혁신 가로막는다

대부분의 조직이 AI의 효과를 충분히 활용하기 위해서는 고도화된 클라우드 전략이 필수적이다. 그러나 많은 CIO가 속한 조직은 여전히 고급 수준의 AI 배포를 추진할 만큼의 클라우드 역량과 투자 수준을 갖추지 못한 상태다. 클라우드 운영을 희생하면서 AI에 대규모 투자를 단행하는 결정은 오히려 상황을 악화시킬 수 있다.

NTT 데이터의 보고서에 따르면, AI 성공에 최적화된 ‘클라우드 진화 단계(cloud evolved)’에 도달한 조직은 전체의 14%에 불과하다. 이 단계에서는 클라우드 주도의 혁신이 비즈니스 전환을 가속화하고, 클라우드 네이티브 서비스가 핵심 전략에 내재화돼 있다.

또 다른 34%의 고위 IT 의사결정자는 자사의 클라우드 전략을 ‘성숙 단계(mature)’로 평가했다. 이는 진화 단계 바로 아래 수준으로, 조직 전반에 걸쳐 폭넓고 전략적인 클라우드 활용이 이뤄지고 있으며, 강력한 거버넌스와 모범 사례, 확장 가능한 워크로드를 갖춘 상태를 의미한다.

결과적으로 절반 이상의 조직이 AI 효과를 충분히 발휘하기 위한 클라우드 역량에서 뒤처져 있는 것으로 나타났다. 이 가운데 4분의 1 이상은 단순히 ‘클라우드 활용 단계(cloud enabled)’에 머물러 있으며, 약 4분의 1은 여전히 초기 수준에 머물러 있다.

CIO가 클라우드 성숙도 곡선의 어느 위치에 있든, AI 프로젝트 자금을 마련하기 위해 클라우드 투자를 포기하는 전략은 위험성이 크다.

IT 리더의 약 88%는 조직 내 클라우드 투자 부족이 AI, 클라우드 네이티브, 현대화 이니셔티브 전반에 위험 요소가 될 수 있다고 우려하고 있다. AI 확산으로 클라우드 사용이 증가하고 있음에도 불구하고, 설문 응답자의 84%는 지난 1년간 클라우드 지출이 정체 상태에 머물렀다고 밝혔다.

AI 위해 클라우드 희생? ‘돌려막기 투자’의 위험

기업들이 AI 파일럿 프로젝트에 예산을 집중하는 과정에서, 정작 핵심 인프라인 클라우드를 소홀히 하는 경향이 나타나고 있다. NTT 데이터(NTT DATA)의 클라우드 및 보안 글로벌 총괄 찰리 리는 이러한 상황을 두고 “클라우드 영역에는 충분한 예산이 배정되지 않고 있다”고 설명했다.

찰리 리는 “AI를 추진하기 위해 특정 영역에는 비용을 투입해야 하지만, 정작 클라우드에는 사용할 자원이 부족한 상황”이라며 “이미 AI에 많은 투자를 하고 있음에도 불구하고, 결국 다수의 파일럿 프로젝트를 반복하면서 비용을 낭비하는 결과로 이어지고 있다”고 분석했다.

일부 기업은 수십 개의 AI 파일럿을 실행할 수 있는 예산을 확보했지만, 클라우드 서비스에 대한 추가 투자 여력은 확보하지 못한 것으로 나타났다. 이에 따라 CIO는 AI를 구현하기 위해 필수적인 클라우드 기반 작업을 수행해야 함에도 불구하고, 이를 위한 자금이 부족한 상황에 직면해 있다.

NTT 데이터는 AI 개발에 필요한 막대한 연산 능력 때문에 클라우드가 필수적이라고 보고 있다. 찰리 리는 “AI에는 대규모 데이터와 강력한 처리 능력이 요구된다”며 “이 두 요소가 오늘날 생성형 AI 확산을 이끈 핵심 요인”이라고 설명했다. 이어 “자체 데이터센터의 제한된 서버 환경만으로는 이러한 요구를 충족하기 어렵다”고 밝혔다.

또한 성공적인 AI 프로젝트를 위해서는 데이터 성숙도를 확보할 수 있는 클라우드 전략이 필요하다. 찰리 리는 “클라우드 전략이나 구현 수준이 충분히 성숙하지 않으면 데이터가 분산된 상태로 남게 된다”며 “데이터 품질이 낮거나 거버넌스가 미흡할 경우, 학습된 모델의 정확도 역시 떨어질 수밖에 없다”고 지적했다.

정리되지 않은 클라우드에서는 AI도 없다

한편 업계 전문가들도 클라우드가 AI 성공에 핵심적인 역할을 한다는 데 의견을 같이한다. 디지털 전환 솔루션 기업 UST의 최고 AI 아키텍트 아드난 마수드는 “정리되지 않은 클라우드 환경 위에서 AI가 안정적으로 확장된 사례는 보기 어렵다”고 진단했다.

마수드는 “데모 수준에서는 구현이 가능하지만, 실제 운영 단계에서는 데이터 거버넌스 부족, 취약한 시스템 통합, 낮은 가시성, 급격히 증가하는 연산 비용 등의 문제가 본격적으로 드러난다”고 설명했다. 또한 이번 NTT 데이터 조사 결과는 현재 시장 상황과도 일치한다고 평가했다.

온프레미스 기반 AI는 일부 규제가 엄격한 산업에서 제한적으로 활용될 수 있지만, 대부분의 기업은 클라우드 기반 접근 방식에서 더 큰 효과를 얻는 것으로 나타났다. 마수드는 “강력한 클라우드 전략 없이도 제한적인 AI 구현은 가능하지만, 이를 안정적으로 확장할 가능성은 낮다”고 밝혔다. 이어 “온프레미스 환경이 효과적으로 작동하려면 데이터, 오케스트레이션, 모델 서빙, 가시성, 보안, 사이버 복구, 거버넌스 등 관리 계층이 충분히 성숙해야 하지만, 대부분의 기업은 아직 이 수준에 도달하지 못했다”고 분석했다.

AI 및 데이터 플랫폼 기업 엔터프라이즈DB의 CTO 콰이스 타라키는 클라우드 성숙도가 AI를 단순 파일럿에서 실제 운영 시스템으로 전환하는 데 중요한 요소라고 설명했다. 그는 “클라우드 성숙도만으로 충분하다고 볼 수는 없지만, 성숙도가 높은 기업일수록 최신 데이터 아키텍처와 강력한 거버넌스, 환경 간 높은 상호운용성을 갖추고 있다”며 “또한 실제 동시 처리와 대규모 데이터 요구를 안정적으로 감당할 수 있는 인프라를 확보하고 있다”고 밝혔다.

다만 클라우드 투자 확대가 곧바로 성숙도로 이어지는 것은 아니다. 타라키는 “클라우드로 워크로드를 이전한다고 해서 기존에 분산돼 있던 아키텍처가 자동으로 단순화되지는 않는다”며 “데이터와 AI가 사일로 없이 함께 작동할 수 있는 통합되고 유연한 기반을 구축할 때 클라우드 투자의 효과가 극대화된다”고 설명했다.

클라우드 지출이 반드시 클라우드 성숙도로 이어지는 것은 아니다. 엔터프라이즈DB의 CTO 콰이스 타라키는 클라우드에 대규모 투자를 단행한 기업들조차도 AI 파일럿을 실제 운영 환경으로 전환하는 데 어려움을 겪고 있다고 설명했다. 이는 실시간 및 다중 환경에서 요구되는 AI 워크로드를 지원할 수 있는 데이터 아키텍처를 갖추지 못했기 때문이다.

타라키는 “클라우드로 워크로드를 이전한다고 해서, 기존에 분산돼 있던 아키텍처가 자동으로 단순화되지는 않는다”고 밝혔다. 이어 “클라우드 투자가 효과를 발휘하려면 데이터와 AI가 사일로 없이 함께 작동할 수 있는, 보다 통합되고 유연하며 거버넌스가 갖춰진 기반을 구축해야 한다”고 분석했다.

잘못된 클라우드 투자

잘못된 클라우드 투자는 오히려 AI 도입을 저해할 수 있다. 운영 복잡성을 증가시키거나, 고급 분석과 AI 확장 비용을 예측하기 어려운 가격 구조를 포함하고, 특정 벤더 의존도가 높아 새로운 요구에 유연하게 대응하지 못하는 경우가 대표적이다.

타라키는 “클라우드 환경의 데이터 및 시스템 거버넌스 아키텍처가 분산돼 있을 경우, 조직은 시스템 간 데이터 이동에 과도한 시간을 소모하게 된다”며 “이 과정에서 예측하기 어려운 비용을 감수해야 하고, 운영 과정에서 발생하는 마찰도 지속적으로 증가한다”고 설명했다.

이어 “AI가 단순히 데이터를 조회하는 수준을 넘어, 데이터를 기반으로 직접 행동하는 단계로 발전하는 순간 이러한 문제는 더욱 심화된다”고 덧붙였다.
dl-ciokorea@foundryco.com