AWS, 그래비톤 기반 레드시프트 RG 인스턴스 공개… 분석 비용 절감 겨냥

아마존웹서비스(Amazon Web Services, AWS)가 데이터 웨어하우스 서비스 아마존 레드시프트(Redshift)에 그래비톤(Graviton) 기반 RG 인스턴스를 새롭게 출시했다. 이번 인스턴스는 기업이 증가하는 데이터 분석 비용과 최신 레이크하우스 아키텍처의 운영 복잡성을 동시에 줄일 수 있도록 지원하는 데 초점을 맞췄다.

새 인스턴스의 핵심은 통합 데이터 레이크 쿼리 엔진이다. AWS에 따르면 이 엔진은 레드시프트 웨어하우스 데이터와 아마존 S3 데이터 레이크를 하나의 SQL 환경에서 함께 분석할 수 있도록 지원해, 쿼리 성능을 향상시키고 분석 비용을 절감할 수 있다.

파리크 컨설팅(Pareekh Consulting)의 수석 애널리스트 파리크 자인은 “기존 아마존 레드시프트 RA3 시스템은 레드시프트와 스펙트럼(Spectrum)이라는 두 개의 별도 엔진으로 운영됐다”라며 “레드시프트는 웨어하우스 데이터를 처리하고, 스펙트럼은 S3 데이터 레이크 쿼리를 담당했는데, 두 시스템을 동시에 활용할 경우 AWS가 이를 조율해야 해 구조가 복잡해지고 성능이 저하됐으며, 스펙트럼 스캔 비용도 예측하기 어려웠다”고 설명했다.

이어 “새로운 RG 인스턴스는 이 두 환경을 레드시프트 내부에서 직접 실행되는 하나의 통합 엔진으로 결합했다”라며 “이에 따라 아이스버그(Iceberg), 파케이(Parquet), S3 데이터 레이크 데이터를 웨어하우스 데이터와 함께 네이티브 방식으로 조회할 수 있고, 데이터 이동을 줄이며 오버헤드를 낮추는 동시에 성능 최적화를 개선했다. 또한 별도의 스펙트럼 스캔 단위 과금도 제거됐다”고 덧붙였다.

자연은 특히 스펙트럼의 별도 과금 구조가 기업들에게 점점 큰 부담으로 작용하고 있다고 지적했다. AI 워크로드 확산으로 쿼리량이 증가하고 머신 기반 분석이 늘어나면서 데이터 처리 수요가 급증한 가운데, 스캔 기반 요금 체계로 인해 예기치 않은 비용 급등 가능성이 기업들의 불만 요인으로 작용하고 있다는 설명이다.

자연은 “이번 인스턴스는 데이터브릭스, 스노우플레이크, 구글 클라우드의 빅쿼리(BigQuery), 마이크로소프트(MS)의 마이크로소프트 패브릭(Fabric) 등 경쟁사들이 통합 레이크하우스 플랫폼을 앞세워 운영 복잡성을 줄이려는 흐름에 대응하기 위한 AWS의 전략으로 볼 수 있다”고 말했다.

이어 “RG 인스턴스는 아마존 레드시프트의 경쟁력을 강화하는 요소이지만, 시장을 뒤흔드는 혁신이라기보다는 방어적인 성격이 강하다”고 평가했다.

또한 “데이터브릭스는 AI와 데이터 사이언스 역량에 집중하고, 스노우플레이크는 멀티클라우드 단순성, 구글 클라우드는 빅레이크(BigLake)를 통한 AI 네이티브 분석, MS는 패브릭·파워 BI(Power BI)·마이크로소프트 코파일럿(Copilot) 간 긴밀한 통합을 강조하고 있다”라며 “AWS는 아마존 S3의 확장성과 레드시프트 최적화를 기반으로 기업 분석 워크로드를 자사 클라우드 환경에 유지하는 전략을 택하고 있다”고 설명했다.

기업이 주목해야 할 점

그레이하운드 리서치(Greyhound Research)의 수석 애널리스트 산칫 비르 고기아는 이러한 전략적 차별성이 CIO와 기업 IT 조직이 RG 인스턴스를 평가할 때 반드시 고려해야 할 핵심 요소라고 강조했다.

고기아는 “모든 워크로드에 최적화된 해법은 아니다”라며 “진짜 적합한 영역은 ‘겹치는 지점’이다. 레드시프트, S3, 오픈 포맷, BI, 반복 분석, 비용 압박, AI 기반 쿼리가 동시에 맞물리는 구간에서 RG 인스턴스가 실질적으로 마찰을 줄일 수 있다”고 설명했다.

이어 “CIO는 외부 스키마를 전수 조사하고, 스캔량이 많고 빈도가 높은 데이터 레이크 쿼리를 식별해야 한다”라며 “아이스버그와 파케이 워크로드를 실제 동시성 환경에서 벤치마크하고, 월말 보고서 처리 부하를 테스트해야 한다”고 말했다. 또한 “AI 에이전트 기반 쿼리 패턴을 모델링하고, 컴퓨트, S3, 글루(Glue), KMS, 모니터링, 운영 오버헤드까지 포함해 실제 비용 절감 효과를 정밀하게 검증해야 한다”고 덧붙였다.

파리크 컨설팅의 자인은 RG 인스턴스의 최대 수혜자로 이미 S3에 아이스버그, 파케이 형식으로 대규모 데이터를 저장하고 있는 기업을 꼽았다. 특히 금융, 통신, 유통, 제조, 미디어, 광고, IoT 산업에서 효과가 클 것으로 전망했다.

자연은 “이들 기업은 대규모 데이터셋을 다루는 과정에서 데이터 레이크와 웨어하우스 간 중복 데이터로 인한 비용 증가, 예측하기 어려운 과금 구조, 관리가 복잡한 다중 시스템 환경 등의 문제를 겪고 있다”고 분석했다.

AWS 역시 모든 워크로드에서 동일한 비용 절감 효과를 기대해서는 안 된다고 경고했다. 고객이 실제 워크로드 패턴을 반영해 AWS 가격 계산기(AWS Pricing Calculator)를 활용함으로써 잠재적인 비용 절감 효과를 직접 산정할 것을 권장했다.

현재 RG 인스턴스는 미국 동부·서부, 캐나다, 상파울루, 프랑크푸르트, 아일랜드, 밀라노, 런던, 파리, 스페인, 스톡홀름, 뭄바이, 하이데라바드, 싱가포르, 시드니, 서울, 도쿄, 홍콩 리전에서 제공되고 있다.
dl-ciokorea@foundryco.com