“코어에서 엣지까지 AI 추론 확장” 아카마이, 엔비디아 블랙웰 기반 ‘인퍼런스 클라우드’ 출시

아카마이테크놀로지스(아카마이코리아 대표 이경준)가 코어 데이터센터에서 인터넷 엣지까지 AI 추론을 확장해 AI의 활용 영역과 방식을 재정의하는 플랫폼 ‘아카마이 인퍼런스 클라우드(Akamai Inference Cloud)’를 출시했다.

아카마이 인퍼런스 클라우드는 사용자와 디바이스에 가까운 엣지에서 지능적이고 에이전틱(agentic)한 AI 추론을 구현하도록 설계됐다. 기존 시스템과는 달리 전 세계 규모의 저지연 환경에서 실시간 엣지 AI 처리를 제공한느 것이 특징이다. 아카마이는 이번 출시를 통해 전 세계에 분산된 아키텍처 구축 전문성과 엔비디아 블랙웰(Blackwell) AI 인프라를 결합해 AI의 잠재력을 발휘하기 위해 필요한 가속 컴퓨팅을 확장한다고 설명했다.

개인화된 디지털 경험과 스마트 에이전트부터 실시간 의사 결정 시스템에 이르는 차세대 AI 애플리케이션의 추론 작업은 사용자와 가까운 곳에서 수행되며 즉각적인 응답을 제공해야 한다. 에이전틱 워크로드는 저지연 추론, 로컬 컨텍스트, 즉각적인 글로벌 확장성에 대한 역량이 필요하다. 아카마이 인퍼런스 클라우드는 이런 요구사항을 충족하며, 엔비디아 AI 스택을 데이터가 생성되고 의사 결정이 이루어지는 지점에 가깝게 배치한다.

아카마이 CEO 톰 레이튼은 “차세대 AI는 인터넷이 오늘날의 보편적인 글로벌 플랫폼으로 성장할 수 있게 한 것과 동일한 사용자 근접성이 요구된다”라며 “엔비디아 AI 인프라를 기반으로 하는 아카마이 인퍼런스 클라우드는 AI 추론 성능 확장에 대한 요구가 커지는 가운데, AI 의사결정 기능을 전 세계 수천 지점에 배치해 더 빠르고 스마트하며 안전한 의사결정을 가능하게 할 것이다”라고 말했다.

엔비디아 CEO 젠슨 황은 “AI에서 추론은 가장 컴퓨팅 집약적인 단계가 되었고 전 지구적 규모에서 실시간 추론이 요구되고 있다”라며, “엔비디아와 아카마이는 이번 협력을 통해 전 세계 사용자에게 더 가깝게 추론을 제공함으로써 더 빠르고 확장 가능한 생성형 AI를 구현하고 차세대 지능형 애플리케이션의 시대를 열 것이다”라고 말했다.

아카마이 인퍼런스 클라우드는 엔비디아 RTX 프로 6000 블랙웰 서버 에디션(RTX PRO 6000 Blackwell Server Edition) GPU, 블루필드-3(BlueField-3) DPU, 엔비디아 AI 엔터프라이즈(NVIDIA AI Enterprise )소프트웨어를 탑재한 엔비디아 RTX 프로 서버(NVIDIA RTX PRO Servers)를 아카마이의 분산 클라우드 컴퓨팅 인프라 및 전 세계 4,200개 이상의 글로벌 엣지 네트워크와 결합한다. 또한 최근 발표된 엔비디아 블루필드-4(BlueField-4) DPU 등 최신 기술을 활용해 코어부터 엣지까지 AI 추론 워크로드와 데이터 액세스를 가속화하고 보안을 강화한다.

아카마이는 엔비디아와의 협력을 통해 다음과 같은 AI 활용례를 선보일 예정이다.

• 엔터프라이즈 AI 팩토리를 엣지로 확장해 스마트 커머스 에이전트 및 개인 맞춤형 디지털 경험 구현 : AI 팩토리는 데이터 수집부터 대규모 지능 생성까지 AI 라이프사이클을 조율하는 핵심 엔진이다. 아카마이 인퍼런스 클라우드는 AI 팩토리를 엣지로 확장해 데이터를 분산 처리하고 아카마이의 대규모 분산 엣지 노드를 통해 최적 모델로 리퀘스트를 라우팅한다. 이를 통해 스마트 에이전트는 사용자의 위치, 행동, 의도에 맞춰 즉각적으로 적응할 수 있으며, 협상, 구매, 최적화된 거래를 실시간으로 수행할 수 있다.
• 스트리밍 추론 및 에이전트를 통해 즉각적인 금융 인사이트 제공 및 실시간 의사 결정 수행 : AI 에이전트는 복잡한 작업을 수행하기 위해 다수의 연속적 추론을 거친다. 이때 각 단계마다 네트워크 지연이 발생하면 사용자 경험이 느려지거나 기계 간 실시간 통신 속도 기준을 충족하지 못하게 된다. 아카마이 인퍼런스 클라우드의 엣지 기반 아키텍처는 사실상 즉각적으로 응답해 다단계 워크플로우에서도 인간 수준의 반응성을 구현한다. 사기 탐지, 안전한 결제 가속화, 산업용 엣지에서의 빠른 의사 결정 등에 유용하다.
• 실시간 피지컬 AI 동작 지원 : 자율주행 차량, 산업용 로봇, 스마트 도시 인프라 등 피지컬 AI 시스템은 물리적 세계와 안전하게 상호작용하기 위해 밀리초 단위의 정밀한 의사결정이 필요하다. 아카마이 인퍼런스 클라우드는 피지컬 AI가 센서 데이터를 처리하고, 안전 관련 의사결정을 내리고, 물리적 세계의 속도로 동작할 수 있도록 설계됐다. 이를 통해 공장 자동화, 배송 드론, 수술용 로봇, 자율 주행 교통망 등을 사람과 함께 안전하게 작동하는 지능형 시스템으로 전환할 수 있도록 지원한다.
• 가치 실현 시간 단축 : 복잡하고 분산된 AI 워크로드를 다중 클라우드 리전에서 조율하는 것은 전문 인력과 기술이 필요하다. 아카마이 인퍼런스 클라우드의 지능형 오케스트레이션 레이어는 AI 작업을 최적 위치로 자동 라우팅한다. 일상적인 추론은 엔비디아의 NIM 마이크로서비스를 통해 엣지에서 즉시 실행되고, 복잡한 추론은 중앙 AI 팩토리에서 처리되며, 이 모든 과정은 인프라 복잡성을 추상화한 통합 플랫폼을 통해 관리된다.

아카마이는 현재 전 세계 20개 지역을 대상으로 아카마이 인퍼런스 클라우드 서비스를 시작했으며, 향후 서비스 지역을 확장할 계획이다.
dl-ciokorea@foundryco.com