“AI를 위한 클라우드는 따로 있다” 엣지 네이티브 기반 클라우드 인프라를 활용한 초저지연 AI 워크로드 운영 방안

IDG가 3월 26일 잠실 롯데호텔 월드 크리스탈 볼룸에서 개최한 ‘클라우드 & AI 인프라스트럭처 서밋 2025(Cloud & AI Infrastructure Summit 2025)’에서 아카마이 코리아 클라우드 테크놀로지 그룹 강상진 상무는 “중앙집중형 컴퓨팅 모델이 분산 클라우드로 진화하고 있다”라고 강조하며, AI를 둘러싼 클라우드 환경의 변화 추이와 아카마이의 엣지 네이티브 기반 클라우드 인프라를 활용한 AI 워크로드 운영 방안을 소개했다.

중앙집중식 AI 아키텍처의 한계

우선, 전통적인 클라우드 기반의 AI 레퍼런스 아키텍처의 한계를 지적했다. 클라우드 기반의 AI 아키텍처는 클라우드 서비스 업체의 코어 인프라를 중심으로 한다. 코어에는 CPU와 GPU, 스토리지 등의 인프라 자원이 배치되어 있는 것은 물론, 데이터 파이프라인부터 모델 학습 및 세부 조정, 모델 개발 및 추론, 개발자 도구까지 AI 서비스 개발에 필요한 핵심 요소가 모여 있다. 이렇게 구축된 AI 서비스를 최종 사용자의 브라우저와 애플리케이션, 디바이스까지 효율적이고 안정적으로 전달하기 위해 엣지 구간에서 보안과 CDN, 캐싱, 로드밸런싱을 수행한다.

이렇게 클라우드는 개발자와 스타트업을 포함해 많은 기업이 인프라에 대한 부담없이 AI 서비스를 빠르게 구축할 수 있는 기반을 제공하지만, 태생적으로 중앙집중식 구조이기 때문에 저지연 환경에 대한 지원이나 고객 경험 같은 문제를 완벽하게 해결하지는 못한다. 클라우드 서비스 업체가 리전을 확장하고는 있지만, 본질적으로는 또 하나의 중앙집중식 클라우드 인프라를 추가한는 것에 불과하다.

이 때문에 중앙집중형 클라우드는 일반적인 환경에서는 효율적인 인프라 서비스로 평가되지만, AI 서비스용으로는 높은 네트워크 대역폭 비용과 실시간 AI의 응답 속도 문제, 여기에 GPU 인프라를 확보하는 데 드는 비용과 어려움까지 한계를 보이고 있다.

중앙집중형 컴퓨팅 모델이 분산 클라우드 진화하는 이유는 주요 사용례를 통해 확인할 수 있다. 강상진 상무는 “기존의 전통적인 애플리케이션이나 서비스는 굳이 분산 클라우드가 필요하지 않다. 하지만 최종 사용자와 실시간으로 인터랙션해야 하는 서비스라면 이야기가 달라진다”라고 설명했다. 게임이나 라이브 스트리밍, IoT가 대표적인 예이며, AI서비스는 이런 분산 클라우드로의 진화를 가속화하고 있다.

AI 서비스에 분산 클라우드가 필요한 이유

지금까지 AI 서비스 개발의 초점이 모델의 우수성이나 패러미터의 규모, 구현 비용 등에 맞춰져 있었다면, AI 서비스 간의 경쟁이 치열해진 지금은 사용자 경험도 중요해졌다. 하지만 중앙집중형 클라우드를 기반으로 하는 AI 서비스로는 한계가 있다.

강상진 상무는 미국에서 호스팅하는 AI 서비스를 한국 사용자가 사용하는 경우를 예로 들었다. 사용자가 필요한 데이터를 입력하고 결과물을 받는 과정에서 여러 단계의 인터넷 연결을 거치기 때문에 병목이나 지연이 발생할 수밖에 없는 구조라는 것. 특히, AI 서비스가 초기의 텍스트 중심에서 비디오나 오디오 등의 대용량 콘텐츠로 확대되면서 기존 아키텍처의 한계는 더욱 두드러진다.

더구나 챗GPT 같은 초기 LLM 서비스는 사용자의 호기심이 컸기 때문에 다소의 지연에도 관대할 수 있지만, 기업이 자사 애플리케이션에 AI 서비스를 구현할 때는 사용자의 반응도 달라진다. 강상진 상무는 “기업이 구매 프로세스에 구현한 AI 기반의 추천 시스템에서 병목이나 지연이 발생한다면, 어떤 고객도 기다려주지 않을 것”이라고 덧붙였다.

대규모 AI 트래픽을 원활하게 처리하는 분산 아키텍처

아카마이가 제시하는 해법은 분산 클라우드 아키텍처다. 아카마이의 분산 클라우드는 클라우드 네이티브 기반의 애플리케이션을 구동할 수 있는 코어(Core) 리전, 분산 클라우드를 활용한 에지 네이티브 애플리케이션을 구동할 수 있는 분산(distributed) 리전, 그리고 최종 사용자와 맞닥뜨려서 성능과 보안을 책임지는 에지(Edge) 리전의 3계층으로 구성된다.

이를 통해 고객은 대규모 분산 네트워크를 통해 초저지연 AI 서비스를 운영할 수 있다. 엣지 리전은 클라우드렛(Cloudlet)와 서버리스 서비스, CDN, 보안 등의 역할을 수행하는데, 코어 리전의 지연 시간이 100ms 이하라면, 엣지 리전의 지연 시간은 10ms 이하이다.

아카마이의 분산 아키텍처는AI 추론 요청을 지역별로 최적화하고 클라우드와 엣지를 동시에 사용할 수 있다. 또한 사용자 위치를 기준으로 가장 가까운 엣지 서버에서 AI 응답을 제공하기 때문에 글로벌 서비스에 최적화되어 있으며, AI 서비스와 같은 요청을 PoP 간에 분산 처리해 부하를 줄일 수 있다.

이미 많은 LLM이나 NLP 서비스가 아카마이의 분산 아키텍처를 통해 AI 응답을 최적화하고 있으며, 대표적인 생성형 AI 기반 이미지 생성 서비스인 스테이블 디퓨전(Stable Diffusion)과 같이 이미지 생성 요청 등, 응답의 크기가 큰 서비스에 적합하다.

강상진 상무는 아카마이 분산 클라우드 아키텍처의 장점으로 대규모 분산 인프라와 초저지연 AI 서비스와 함께 최적화된 클라우드 비용을 제시했다. 특히, 전 세계를 커버하는 아카마이의 글로벌 CDN 인프라를 통해 클라우드 PoP와 CDN PoP 간의 통신 요금이 면제되거나 할인되기 때문에 네트워크 요금의 부담이 큰 애플리케이션에 유리하다는 설명이다.

세계 최고의 분산 컴퓨팅 플랫폼

대표적인 글로벌 CDN 업체인 아카마이는 3년 전 클라우드 서비스 업체 리노드를 인수하면서 퍼블릭 클라우드 서비스로 영역을 확장했다. 특히 글로벌 CDN의 강자로서 갖추고 있는 역량을 살린 엣지 네이티브 기반의 인프라가 강점이다. 이를 기반으로 일반적인 퍼블릭 클라우드 서비스는 물론, AI 서비스에 초저지연 AI 워크로드 운영을 지원한다.

아카마이는 2025년 4월 현재 전 세계 주요 국가의 36개 도시에 코어 리전과 분산 리전을 두고 있으며, 특히 엣지 PoP(Point of Presence)는 4,200개 이상이다. 대형 퍼블릭 클라우드와 SaaS 기반 보안 업체 모두를 다 합친 것보다 많은 수이다. 또한, 각 PoP 구간을 아카마이의 전용회선을 통해 연결하기 때문에 글로벌 서비스를 하는 기업 고객의 비중이 크다. 강상진 상무는 “다양한 디바이스의 소프트웨어 업데이트나 모바일 게임을다운로드했다면, 국내 유명 이커머스 플랫폼에서 상품을 구매했다면, 이미아카마이 플랫폼에서 구동하는 서비스를 사용하는 것”이라고 덧붙였다.

마지막으로 강상진 상무는 가상머신부터 전문 GPU/VPU, 스토리지, 네트워크, 보안을 아우르는 아카마이의 포괄적인 클라우드 서비스를 소개했다. 특히 타사 클라우드와 비교해 비용을 절감할 수 있는 아카마이 클라우드만의 특징을 강조했다. 아카마이는 방화벽이나 VPC의 보안 접근 제어에 별도의 과금을 하지 않으며, 성능이나 가중치, 콘텐츠 기반의 트래픽 분배 서비스인 노드밸런서(NodeBalancer) 서비스는 유닛을 기준으로 과금하기 때문에 트래픽 양에 따른 추가 과금이 없다. 아카마이 클라우드의 가상머신을 구매하면 1~20TB의 이그레스 트래픽을 번들로 제공하는 것도 숨은 장점 중 하나이다.

강상진 상무는 “아카마이 클라우드는 세계 최고의 인프라를 기반으로 한 뛰어난 성능과 다양한 비용 절감 요소를 통한 저렴한 비용, 그러면서도 안전하고 믿을 수 있는 품질을 보장하는 퍼블릭 클라우드 서비스”라고 강조했다.
[email protected]