“클라우드 퍼스트에서 클라우드 스마트로” CIO의 인프라 전략이 바뀐 이유

그동안 업계에서는 애플리케이션과 워크로드에 클라우드 퍼스트 전략을 적용하면 민첩성과 확장성, 비용 효율성 측면에서 이점을 얻을 수 있다는 인식이 지배적이었다.

클라우드는 여전히 대부분 IT 리더가 선호하는 인프라 플랫폼이지만, 많은 CIO가 단순히 온프레미스에서 모두 옮기거나 신규 프로젝트에서 클라우드를 다른 선택지보다 우선시하는 방식에서 벗어나, 워크로드 특성에 따라 최적의 실행 환경을 고르는 ‘클라우드 스마트(Cloud Smart)’ 전략으로 전환하고 있다.

클라우드 비용 최적화는 이런 재검토를 촉발한 핵심 요인 가운데 하나로, 많은 기업이 빠른 성장 속에서 치솟는 클라우드 비용을 통제하는 데 어려움을 겪고 있다. VM웨어의 최근 조사에 따르면, 엔터프라이즈 클라우드 인프라 지출의 21%가 활용도가 낮은 리소스에 낭비되고 있는데, 2025년 기준으로 445억 달러에 달한다. CIO의 31%는 전체 클라우드 비용의 절반을 낭비하고 있는 것으로 나타났다.

기술 컨설팅 기업 하이레인(Hylaine)의 기술 부사장 라이언 맥엘로이는 “클라우드로의 전면적인 전환은 끝났다”라고 지적했다. 맥엘로이는 “클라우드 스마트 조직은 어떤 워크로드를 클라우드에 두는 것이 최적인지 판단하기 위한 명확하고 검증된 프로세스를 갖추고 있다”라고 말했다.

맥엘로이는 “예를 들어, 아주 빠르게 제공해야 하고 향후 대규모 확장을 지원해야 하는 워크로드는 클라우드에서 구축해야 한다, 가상머신 환경에 호스팅해야 하는 레거시 기술 기반 솔루션이나, 수년간 매우 예측 가능한 워크로드를 가진 솔루션은 잘 관리된 데이터센터에 배치하는 편이 더 적합하다”라고 설명했다.

또한, 온프레미스 기술의 발전, 하드웨어 교체 주기의 장기화, 하이퍼스케일 클라우드 업체의 초고마진, 업계의 전형적인 하이프 사이클이 맞물리면서 클라우드 스마트 트렌드가 형성됐다고 분석했다. 이런 흐름은 모두 하이브리드 인프라 전략에 힘을 실어주는 요인이다.

맥엘로이는 “AI가 데이터와 컴퓨팅 자원이 사일로에 갇히는 또 하나의 큰 변수를 만들었다”라고 지적하며, “많은 조직이 고성능 GPU 데이터센터를 직접 구축할 의지도 역량도 없기 때문에 클라우드를 써야 한다. 하지만 보수적이거나 비용에 민감한 전략을 유지해 온 조직은 하이브리드 인프라 중 온프레미스 영역에 데이터를 두고 있을 수 있다”라고 설명했다.

이런 변수 탓에 마이그레이션 과정이나 데이터 송신·반출 비용 등에서 복잡성과 예상치 못한 비용이 발생하는 사례가 늘었다. 맥엘로이는 “클라우드 스마트로 전환하고 있다고 공개적으로 인정한 곳은 전체의 10%에 불과하다”라며, 이 수치가 낮아 보일 수 있지만 상당히 의미 있는 수준이라고 강조했다.

클라우드 전략을 재수립하려면, 해결해야 할 과제가 많다. 맥엘로이는 “우선 새로운 CIO나 CTO가 있어야 한다”라며, “이미 클라우드로 옮긴 조직은 되돌리기가 매우 어렵다”라고 설명했다.

또한 기업이 자체 데이터센터나 코로케이션 시설을 운영·관리할 인력을 유지하고, 재교육까지 마쳐야 한다. 맥엘로이는 이런 조직은 클라우드가 제공하는 순수 민첩성과 분산 컴퓨팅의 이점보다 온프레미스 인프라 수요가 더 크기 때문에 클라우드 스마트 전략을 택할 수 있다고 평가했다.

적합한 하이퍼스케일러 선정과 재평가

프로터 앤 갬블(P&G)의 CTO 겸 수석 부사장 파올라 루체티는 “프로터 앤 갬블은 약 8년 전 워크로드 마이그레이션을 시작하면서 클라우드 퍼스트 전략을 채택했다”라고 밝혔다. 루체티는 “당시 모든 신규 애플리케이션을 퍼블릭 클라우드에 배포하고, 기존 워크로드는 전통적인 호스팅 환경에서 하이퍼스케일러로 옮기라는 것이 내부 원칙이었다”라고 설명했다.

루체티는 “이 접근법을 통해 레거시 인프라 의존도를 줄이면서 빠르게 현대화하고, 클라우드 플랫폼이 제공하는 확장성과 복원력을 활용할 수 있었다”라고 말했다.

현재 프로터 앤 갬블의 워크로드는 대부분 클라우드에서 가동되고 있다. 루체티는 “지연 시간이나 성능 요건 때문에 일부 워크로드는 퍼블릭 클라우드 밖에 두고 있으며, 이 워크로드는 정기적으로 재평가한다”라며, “이런 기반이 디지털 전환의 중요한 시기에 속도와 유연성을 제공했다”라고 말했다.

클라우드 생태계가 성숙해지면서 비즈니스 우선순위도 함께 바뀌었다. 루체티는 “비용 최적화, 지속 가능성, 민첩성이 우선 과제로 떠올랐다”라며, “프로터 앤 갬블에서 클라우드 스마트란 워크로드에 맞는 하이퍼스케일러를 선정하고 정기적으로 재평가하며, 투명성과 거버넌스를 위해 핀옵스(FinOps)를 내재화하고, 특정 사용례를 위해 하이브리드 아키텍처를 활용하는 것을 의미한다”라고 설명했다.

이런 접근법이 자동화와 AI, 에이전트 기반 기능을 통해 개발자가 더 빠르게 가치를 창출하도록 돕는다. 루체티는 “이 접근법은 기술적인 문제만이 아니라 문화적인 변화이다. 기술 의사결정을 비즈니스 결과와 정렬하는 전략적 유연성 마인드를 반영한다”라고 강조했다.

클라우드 선택지를 바꾸는 AI

AI는 막대한 잠재 투자 수요를 만들어내며 인프라 전략의 중요성을 한층 끌어올렸다. 맥엘로이는 “값비싼 엔비디아 GPU가 장착된 서버를 3년 동안 하루 24시간, 주 7일 임대하는 것은 직접 구매하는 것보다 재정적으로 치명적일 수 있다. 하지만 매년 새 모델을 끊김 없이 활용할 수 있는 유연성은 전략적 우위가 될 수 있다”라고 분석했다.

시스코는 퍼블릭 클라우드에 무엇을 두는 것이 정말 적절한지에 대해 훨씬 더 신중해졌다. 비용도 비용이지만, 가장 중요한 동인은 AI 데이터 거버넌스이다. 시스코의 수석 엔지니어이자 제품 아키텍트 닉 케일은 “클라우드 스마트란 워크로드를 온프레미스로 되가져오는 클라우드 환송(repatriation)이 아니라, AI 데이터 중력을 올바른 컨트롤 플레인(Control Plane)과 정렬하는 것”이라고 말했다.

시스코 IT 조직은 어떤 워크로드를 프라이빗 클라우드에 두고, 어떤 워크로드를 퍼블릭 클라우드에 둘지 구분했다. 케일은 “대규모 모델 학습과 파인튜닝에는 고객 데이터와 텔레메트리 데이터에 대한 강력한 통제가 필요하다. 그래서 추론과 데이터 처리를 보안이 강화된 프라이빗 환경에서 수행하고, 오케스트레이션과 비민감 서비스는 퍼블릭 클라우드에 두는 하이브리드 아키텍처를 점점 더 선호하고 있다”라고 설명했다.

시스코의 클라우드 스마트 전략은 데이터 분류와 워크로드 프로파일링에서 출발한다. 고객 식별이 가능한 정보와 진단 추적, 모델 피드백 루프는 지역 규정을 준수하는 프라이빗 클라우드에서 처리한다. 케일은 “스테이트리스 서비스, 콘텐츠 전송, 텔레메트리 집계처럼 대규모 확장성과 효율성을 위해 퍼블릭 클라우드의 탄력성을 활용하는 영역도 있다”라고 설명했다.

케일은 또 “시스코는 과거 클라우드에만 존재하던 기능을 고객 환경에 안전하게 배포할 수 있도록 패키징해, 데이터를 공유 인프라로 노출하지 않고도 동일한 AI 기반 인사이트와 자동화를 로컬에서 제공하고 있다”라며, “이런 방식은 데이터 위치, 프라이버시, 비용을 훼손하지 않으면서 고객이 AI 기능을 유연하게 도입하도록 돕는다”라고 덧붙였다.

이런 실천이 시스코의 규제 준수 수준을 끌어올리고, 추론 지연 시간을 줄였으며, 측정 가능한 클라우드 비용 감소로 이어졌다.

한편, AI는 대규모 위협 탐지 영역에서 시스코의 클라우드 전략을 근본적으로 바꿔 놓았다. 케일은 “초기 버전 모델은 전부 퍼블릭 클라우드에서 실행됐지만, 고객별 텔레메트리에 맞춰 파인튜닝을 시작하면서 데이터 민감성과 데이터 양 때문에 클라우드 송신 비용이 급증했고 거버넌스도 어려워졌다”라고 밝혔다.

케일은 “훈련과 피드백 루프를 로컬 프라이빗 클라우드로 옮기자 전체 감사 추적이 가능해졌고 전송 비용이 크게 줄었으며, 추론은 하이브리드로 유지해 규제 산업 고객에게도 1초 미만 응답 시간을 제공할 수 있었다”라고 설명했다.

시스코 IT 조직은 자사의 생성형 AI 지원 어시스턴트에서도 비슷한 문제를 발견했다. 케일은 “초기에는 케이스 기록과 진단 로그를 퍼블릭 클라우드 LLM에서 처리했다. 그러자 금융과 헬스케어 고객이 데이터가 외부 환경으로 나가는 것에 우려를 제기했고, 이에 기능을 고객의 가상 프라이빗 클라우드나 온프레미스 클러스터에서 직접 실행하도록 아키텍처를 다시 설계했다”라고 말했다.

이런 식으로 오케스트레이션 계층은 퍼블릭 클라우드에 남아 있지만, 민감한 데이터는 고객의 통제 범위를 벗어나지 않는다.

AI는 시스코 고객 경험(CX) 포트폴리오 전반의 텔레메트리 분석 방식도 바꿔놓았다. 시스코의 IT 조직은 14만 곳이 넘는 고객 환경에서 페타바이트 규모의 운영 데이터를 수집한다. 케일은 “실시간 예측 AI로 전환했을 때, 원시 시계열 데이터를 클라우드로 보내는 비용과 지연이 병목이 됐다”라고 말했다.

케일은 “고객의 로컬 수집기에서 특징 추출과 이상 탐지를 수행하고, 클라우드에는 상위 수준의 위험 신호만 보내도록 바꾸자 송신 비용이 크게 줄어들면서도 모델 정확도는 오히려 개선됐다”라고 설명했다.

이 모든 사례에서 AI가 아키텍처의 장단점을 명확히 보여줬다. 케일은 “특정 워크로드는 퍼블릭 클라우드의 탄력성으로 이점을 얻지만, 가장 민감하고 데이터 집약적이며 지연에 민감한 AI 기능은 데이터와 더 가까운 곳에서 실행해야 한다”라고 설명했다. 또한, 케일은 “시스코에서 클라우드 스마트는 클라우드 환경 자체가 아니라, 데이터 중력과 프라이버시 경계, 추론 경제성을 적절한 컨트롤 플레인과 정렬하는 문제로 자리 잡았다”라고 덧붙였다.

더 저렴한 실행 경로 모색

프로터 앤 갬블과 마찬가지로 월드 인슈어런스 어소시에이츠(World Insurance Associates)는 클라우드 스마트를 핀옵스 프레임워크 도입으로 해석하고 있다. 월드 인슈어런스 어소시에이츠의 CIO 마이클 코리건은 이를 “비즈니스 사용례에 맞춰 가상머신 구성을 최적화하고 표준화하며, 필요한 스토리지와 컴퓨팅 규모를 명확히 파악하는 것”이라고 설명했다.

이런 요소가 비용을 결정하는 핵심 변수이기 때문에 월드 인슈어런스 어소시에이츠는 사용례별로 각 환경 규모를 정하는 일관된 표준을 갖추고 있다. 또한 이런 표준 덕분에 자동화된 아키텍처를 구축했다.

그 다음 단계는 탄력성처럼 필요한 기능이 켜져 있는지 확인하며 구성을 최적화한다. 코리건은 “일반적으로 야간처럼 서비스 사용량이 줄어드는 시간에는 인스턴스를 자동으로 종료해 스토리지를 줄이고 컴퓨팅을 끄도록 해, 사용하지 않는 리소스에 비용을 내지 않도록 한다”라며, “이 모든 것은 최적화와 표준이라는 기반에서 시작된다”라고 설명했다.

월드 인슈어런스 어소시에이츠는 클라우드 서비스 업체와 다양한 수준의 약정을 맺고 있다. 코리건은 “예를 들어, 마이크로소프트와는 일반 가상머신을 쓸 수도 있고, 예약 인스턴스를 선택할 수도 있다. 얼마나 많은 머신을 쓸지, 얼마를 지출할지 알려주면 그에 맞춰 할인 조건을 협상할 수 있다”라고 밝혔다.

코리건은 “그래서 핀옵스 프레임워크가 반드시 자리 잡아야 한다. 실제로 소비하지 않을 수준의 지출에 약정하고 싶어하는 기업은 없기 때문이다”라며, “이 방식은 클라우드 서비스를 이용하는 고객, 즉 우리 같은 조직이 선제적으로 상당한 할인을 확보할 수 있는 좋은 수단”이라고 강조했다.

월드 인슈어런스 어소시에이츠는 자동화와 알림에 AI를 활용하고 있다. 코리건은 AI 도구가 대개 컴퓨팅 처리량 기반 과금 모델을 사용한다며, “질의를 설계할 때 복잡하지 않은 작업이라면 더 저렴한 실행 경로를 타도록 설계해, 처리 자원이 덜 드는 SLM으로 보내도록 할 수 있다”라고 설명했다.

이렇게 하면 사용자가 만족스러운 결과를 얻으면서도 소비하는 자원이 줄어 비용도 절감할 수 있다. 코리건은 “워크플로우나 프로세스가 더 복잡하면 먼저 SLM으로 보내 기준을 충족하는지 확인한다. 요건이 더 복잡하면 다음 단계로 넘기는데, 이 단계는 더 비싸며 일반적으로 더 많은 데이터를 분석해야 하는 LLM을 사용해 사용자가 원하는 답을 제공한다”라고 설명했다.

코리건은 “이런 방식으로 프로세스 복잡도에 따라 정말 필요한 수준만 소비하도록 비용을 관리하고 있다”라고 덧붙였다.

클라우드는 ‘살아 있는 프레임워크’

맥엘로이는 CIO와 CTO가 하이브리드 인프라 구성이 주는 이점과 최근 수년 동안 기술 수준이 얼마나 달라졌는지에 대해 더 적극적으로 논의할 필요가 있다고 말했다. 맥엘로이는 “많은 조직이 클라우드 비용이 본능적으로 너무 높다고 느끼면서도, CFO가 얼마나 절감할 수 있는지 가늠하지 못해 클라우드 환송이라는 위험한 작업에 나설 유인이 크지 않다”라고 지적했다.

루체티는 프로터 앤 갬블의 클라우드 전략을 “살아 있는 프레임워크”라고 표현하며, 앞으로 수년 동안 적절한 클라우드 역량을 활용해 AI와 에이전트 기반 기능을 사업 가치와 연결해 나갈 계획이라고 말했다. 루체티는 “목표는 단순하다. 기술을 비즈니스 성장과 정렬하면서 급변하는 디지털 환경에서 민첩성을 유지하는 것”이라며, “클라우드 전환은 도착지가 아니라 여정이다. 프로터 앤 갬블은 기술 의사결정을 비즈니스 성과와 정렬하고 유연성을 수용하는 데서 성공이 나온다고 믿고 있다”라고 강조했다.
dl-ciokorea@foundryco.com