누이 좋고 매부 좋다?··· AWS가 AI와 애널리틱스 서비스를 통합하는 이유

AWS의 데이터 웨어하우징, 비즈니스 인텔리전스, 데이터 애널리틱스, AI 서비스가 모두 한 지붕 아래 통합되고 있다.

애널리틱스와 AI 서비스의 이러한 통합 움직임을 극명히 보여주는 주인공은 아마존 세이지메이커(SageMakewr)의 새로운 서비스인 유니파이드 스튜디오(Unified Studio)다. 지난주 AWS의 연례 리인벤트re:Invent)컨퍼런스에서 AWS CEO 매트 가먼이 공개한 이 서비스의 프리뷰 버전은 SQL 분석, 데이터 처리, AI 개발, 데이터 스트리밍, 비즈니스 인텔리전스 및 검색 분석을 결합한다.

AWS가 통합의 일환으로 발표한 또 다른 서비스는 세이지메이커 데이터 레이크하우스다. 이는 기업이 아마존 S3 데이터 레이크와 아마존 레드시프트 데이터 웨어하우스 전반에서 데이터를 통합할 수 있도록 지원한다.

애널리스트들에 따르면 이러한 통합 움직임은 기업이 IT 통합 오버헤드, 복잡성 및 비용을 줄이는 데 도움이 될 수 있다. 이와 동시에 데이터와 AI의 융합, 엔드투엔드 플랫폼에 대한 기업의 수요, 생성형 AI 시대의 역할 변화를 향한 광범위한 트렌드를 반영한다.

AI 워크플로우 간소화

퓨처럼 그룹의 디온 힌치클리프 CIO 프랙티스 담당 부사장은 “유니파이드 스튜디오의 목적은 기업이 데이터 분석과 AI 개발 간의 워크플로우 간소화 지원이다. 통합을 통해 다양한 소스에서 엔터프라이즈 데이터로 더 쉽게 작업할 수 있게 되어 AI 모델 개발이 가속화될 것”이라고 말했다.

에버레스트 그룹의 수석 애널리스트인 만시 굽타는 데이터와 AI 도구가 종종 섬처럼 취급되어 왔다며, 기업들이 기술 부채, 사일로, 복잡성 증가로 어려움을 겪고 있다고 전했다. 그는 “통합을 간소화하고 데이터를 통합해야 할 필요성이 항상 있었다”라고 그녀는 말했다.

IDC 리서치 디렉터인 캐시 랭에 따르면, 이러한 변화의 또 다른 동인이 있다. 기업들이 전체 데이터 자산에 대한 ‘강력한’ 거버넌스를 원하는 현실이다. 기업들은 통합 인터페이스를 통해 단일 환경 내에서 전체 데이터 자산에 액세스하고자 한다고 랭은 설명했다.

진화하는 역할
기업 내 생성형 AI가 갑자기 등장하고 확산하면서서 데이터 과학자, 데이터 엔지니어, 개발자와 같은 전통적인 역할이 진화하고 있으며, 분석과 AI 서비스의 통합에 대한 요구가 커지고 있다.

퓨처럼 그룹의 힌치클리프는 “AI가 널리 보급됨에 따라 데이터 과학자에게 프로그래밍 기술이 점점 더 요구되고 있다. 개발자 또한 데이터 분석과 AI 개념을 이해해야 하는 현실이다”라며, 이러한 역할의 융합으로 인해 폭넓은 기술 집합을 충족하는 도구가 필요하다고 진단했다.

그는 이러한 접근 방식을 통해 여러 팀 간에 보다 효율적으로 협업할 수 있고 기업에서 AI 기반 애플리케이션을 더 빠르게 구축할 수 있다고 덧붙였다.

콘스텔레이션 리서치의 더그 헨센 애널리스트는 개발자와 데이터 전문가가 담당하는 역할이 서로 다르지만 결국 같은 데이터로 작업한다는 점을 언급했다. 그는 “(통합이 이뤄진다면) 보안 및 액세스 제어와 거버넌스를 공유하고 데이터를 이동하고 복사할 필요가 없어 시간과 비용을 절약할 수 있다”라고 말했다.

업계 공통의 움직임

애널리틱스와 AI 서비스를 통합하는 대형 기술 제공업체는 AWS만이 아니다. IDC의 랑게는 도구와 서비스를 통합하는 공급업체의 예로 IBM의 왓슨x와 SAS의 바이야를 언급했으며, 에버레스트의 굽타는 마이크로소프트 또한 패브릭 플랫폼으로 포괄적인 데이터 및 AI 생태계를 구축하고 있다고 전했다.

하지만 AWS와 애저의 데이터 및 AI 서비스 통합은 중대한 질문 하나를 제기한다고 굽타는 말했다. 바로 스노우플레이크(Snowflake), 데이터브릭스(Databricks) 등과의 파트너십 조정이다. “한때 데이터 통합 노력의 중심이었던 이 회사들은 이제 두 클라우드 대기업의 통합 제품의 치열한 경쟁에 직면하고 있다”라고 그는 말했다.

한편 콘스텔레이션의 한센은 많은 기술 공급업체의 통합 전략이 비슷해 보이지만, AWS가 구글, 마이크로소프트, 데이터브릭스 등보다 한 발 앞서 있다고 평가했다. 이를 테면 마이크로소프트의 패브릭과 구글의 빅쿼리도 비슷한 AI 모델 개발 기능을 갖추고 있지만 아직 세이지메이커의 생성형 AI 개발 기능은 내장하고 있지 않다는 진단이다.

무어 인사이트 앤 스트래티지의 제이슨 앤더슨은 세이지메이커와 관련해 AWS의 의도가 차별화된다고 봤다. 새로운 세이지메이커가 크게 봐서는 패브릭과 비슷할 수 있지만, AWS의 경우 데이터에서 모델 개발에 이르는 전체 데이터 수명 주기에 일관된 경험을 제공하려는 의도가 있다는 분석이다. 그리고 이는 전체 소프트웨어 개발 수명 주기를 관리하는 도구를 제공하는 개발자 플랫폼에 비견될 수 있다고 그는 덧붙였다.

퓨처럼의 힌치클리프는 오라클이나 구글 등이 AI, ML, 분석, 데이터 워크벤치를 통합하는 유사한 통합 작업을 시도할 것으로 예측했다.

레드시프트는 사라질까?

세이지메이커 유니파이드 스튜디오와 세이지메이커 데이터 레이크하우스의 출시로 인해 기업 사용자들은 AWS가 레드시프트 브랜드를 폐기하려고 볼 수 있지만, 이는 사라지지 않을 것이라고 db인사이츠의 토니 수석 애널리스트 Tony 배어 애어는 예상했다. 오히려 새로운 통합 서비스의 등장은 데이터브릭스에 대한 AWS의 대답으로 볼 수 있다는 해석이다.

그는 “차이점은 데이터브릭스가 백지 상태에서 시작한 반면, AWS는 기존 제품군을 통합하고 있다는 점이다. AWS에게는 현실적인 경로다. 기존 레드시프트 고객 기업의 기존 투자를 보호하도록 하기 때문이다”라고 말했다.

AI와 애널리틱스 서비스의 통합으로 기업이 혜택을 볼 수 있는 방법은 다양하다. 하지만 장기적으로 가장 큰 승자는 AWS일 가능성이 높다는 관측이다. 이러한 통합으로 인해 서비스의 고착성과 관련 수익이 증가하기 때문이라고 랑게는 말했다.
[email protected]