AWS, 차세대 아마존 세이지메이커 공개··· ‘데이터·분석·AI 위한 플랫폼 통합’

차세대 아마존 세이지메이커(Amazon SageMaker)의 특징은 다음과 같다.

• 새로운 세이지메이커 유니파이드 스튜디오(SageMaker Unified Studio)는 고객이 조직 전반의 데이터를 쉽게 찾고 접근할 수 있게 하며, 목적에 따라 구축된 AWS 분석, 머신러닝(ML) 및 AI 기능을 통합해 고객이 모든 유형의 데이터 사용 사례에서 최적의 도구를 사용하여 데이터를 활용하도록 한다. 이 과정에서 아마존 Q 디벨로퍼(Amazon Q Developer)의 지원을 받을 수 있다.
• 세이지메이커 카탈로그(SageMaker Catalog)와 내장된 거버넌스 기능을 통해 적절한 사용자가 올바른 목적으로 적절한 데이터와 모델, 개발 자료에 접근할 수 있다.
• 새로운 세이지메이커 레이크하우스(SageMaker Lakehouse)는 데이터 레이크, 데이터 웨어하우스, 운영 데이터베이스, 기업용 애플리케이션 전반의 데이터를 통합해 세이지메이커 유니파이드 스튜디오 내에서 데이터에 접근하고 작업할 수 있으며, 친숙한 AI와 ML 도구 또는 아파치 아이스버그(Apache Iceberg)와 호환되는 쿼리 엔진을 사용할 수 있다.
• 주요 서비스형 소프트웨어(이하 SaaS) 애플리케이션과의 새로운 제로-ETL(zero-ETL) 통합으로 복잡한 데이터 파이프라인 없이 분석이나 ML을 위해 세이지메이커 레이크하우스와 아마존 레드시프트(Amazon Redshift)에서 서드파티 SaaS 애플리케이션의 데이터에 접근할 수 있다.
• 아다스트라(Adastra), 컨플루언트(Confluent), 에틀립(Etleap), 이데알리스타(idealista), 인포매티카(Informatica), 레나(Lennar), 나테라(Natera), 내셔널웨스트민스터 그룹(NatWest Group), NTT 데이터(NTT Data), 로슈(Roche), 태블로(Tableau) 등의 고객사와 파트너사들이 이미 데이터, 분석, AI 이니셔티브를 통합하기 위해 차세대 세이지메이커를 탐색하고 있다.

AWS 데이터 및 AI 부문 부사장 스와미 시바수브라마니안은 “역사적 분석에서부터 ML 모델 학습과 생성형 AI 애플리케이션에 이르기까지 점점 더 상호 연결된 방식으로 데이터를 사용하는 분석과 AI의 융합을 목격하고 있다. 워크로드를 지원하기 위해 많은 고객들이 이미 데이터 작업과 ML 모델 구축을 위한 사실상의 표준인 아마존 세이지메이커를 비롯해 아마존 EMR(Amazon EMR), 아마존 레드시프트, 아마존 S3(Amazon S3) 데이터 레이크, AWS 글루(AWS Glue)와 같은 AWS의 목적별 분석 및 ML 도구 조합을 사용하고 있다. 차세대 세이지메이커는 이런 기능을 몇 가지 흥미로운 새 기능과 통합해 고객이 세이지메이커 내에서 데이터 처리, SQL 분석, ML 모델 개발 및 학습, 생성형 AI에 필요한 모든 도구를 직접 사용할 수 있도록 한다”라고 말했다.

AWS에 따르면 오늘날 많은 고객사가 세이지메이커를 사용해 ML 모델을 구축, 학습 및 배포한다. 또한 SQL 분석, 검색 분석, 빅데이터 처리, 스트리밍 분석 등 광범위한 워크로드를 지원하기 위해 AWS의 포괄적인 목적별 분석 서비스를 활용하고 있다. 고객사들은 점차 이러한 도구들을 단독으로 사용하지 않고 분석, ML, 생성형 AI를 조합해 인사이트를 도출하고 사용자를 위한 새로운 경험을 제공하는 데 사용하고 있다. 아마존은 분석, ML, 생성형 AI를 위한 AWS 도구와 함께 모든 데이터에 쉽게 접근할 수 있고 팀 또는 조직의 다른 구성원들과 데이터 프로젝트에서 쉽게 협업 가능한 통합 환경의 이점을 누릴 수 있다고 설명했다.

차세대 세이지메이커에는 사용자가 조직의 모든 데이터를 찾고 접근할 수 있으며, 모든 유형의 일반적인 데이터 사용 사례에서 작업에 가장 적합한 도구를 사용하여 작업을 수행하고, 팀 내 및 직무 간에 협업하여 데이터 및 AI 이니셔티브를 확장할 수 있는 단일 데이터 및 AI 개발 환경을 제공하는 새로운 통합 스튜디오가 포함된다. 세이지메이커 유니파이드 스튜디오는 아마존 베드록(Amazon Bedrock), 아마존 EMR, 아마존 레드시프트, AWS 글루, 기존 세이지메이커 스튜디오에서 고객이 현재 사용 중인 독립형 “스튜디오(studio)”, 쿼리 에디터, 시각적 툴을 한데 모아 제공한다.

아마존에 따르면 아마존 Q 디벨로퍼는 데이터 검색, 코딩, SQL 생성, 데이터 통합과 같은 개발 작업을 지원하는 과정에서 도움을 준다. 예를 들어, 사용자는 아마존 Q에 “제품 판매에 대한 더 나은 아이디어를 얻으려면 어떤 데이터를 사용해야 하는가?” 또는 “제품 카테고리별 총 매출을 계산하는 SQL을 생성해달라”라고 요청할 수 있다. 사용자는 데이터, 모델, 애플리케이션 및 기타 아티팩트를 안전하게 게시하고 팀 또는 조직의 구성원들과 공유하여 데이터 자산의 검색 및 사용을 가속화할 수 있다. 세이지메이커 유니파이드 스튜디오의 아마존 베드록 통합 개발 환경(IDE)을 통해 사용자는 에이전트, 가드레일, 지식 기반, 플로우 등 아마존 베드록의 고성능 기반 모델과 도구를 사용해 빠르고 쉽게 생성형 AI 애플리케이션을 구축하고 배포할 수 있다. 세이지메이커 유니파이드 스튜디오에는 데이터 검색, 공유, 거버넌스 기능이 기본으로 제공된다. 이는 분석가, 데이터 과학자, 엔지니어가 원하는 보안 제어 및 권한을 적용하고 액세스 제어를 유지하며 데이터를 보호하면서 사용 사례에 필요한 올바른 데이터를 쉽게 검색하고 찾을 수 있도록 지원한다.

1,900만 명 이상의 고객에게 서비스를 제공하는 영국의 은행 내셔널웨스트민스터 그룹은 데이터 엔지니어링, SQL 분석, ML, 생성형 AI 워크로드에 여러 도구를 사용한다. 이제 그룹은 세이지메이커 유니파이드 스튜디오를 통해 조직 전체에서 이 워크로드를 지원하는 단일 통합 환경을 갖추게 된다. AWS는 데이터 사용자가 분석 및 AI 기능에 액세스하는 데 필요한 시간이 50% 단축될 수 있다고 밝히며, 여러 서비스를 관리하는 시간을 줄이고 고객을 위한 혁신에 더 많은 시간을 할애할 수 있을 것이라고 예상했다.

AWS는 차세대 세이지메이커가 조직 전반의 데이터와 AI의 발견, 거버넌스, 협업을 단순화한다고 설명했다. 아마존 데이터존(Amazon DataZone) 기반의 세이지메이커 카탈로그를 통해 관리자는 세분화된 제어가 가능한 단일 권한 모델을 사용해 일관된 접근 정책을 정의하고 구현할 수 있다. 또한 여러 팀의 데이터 작업자는 생성형 AI가 생성한 비즈니스 컨텍스트 메타데이터가 풍부한 데이터와 모델을 안전하게 발견하고 접근할 수 있다. 관리자는 모델, 도구, 데이터 소스 전반에서 쉽게 권한을 정의하고 시행할 수 있다. 맞춤형 보호 장치가 AI 애플리케이션을 안전하고 규정을 준수하도록 돕는다. 또한 세이지메이커 내에서 데이터 분류, 유해성 감지, 가드레일, 책임 있는 AI 정책을 활용해 AI 모델을 보호할 수 있다.

AWS에 의하면 오늘날 100만 개 이상의 데이터 레이크가 아마존 S3(Amazon S3)에 구축돼 있다. 이를 통해 데이터 자산을 중앙 집중화하고 AWS 분석 및 AI, ML 도구로 가치를 창출할 수 있다. 또한 데이터를 있는 그대로 저장할 수 있어 여러 소스의 데이터를 쉽게 결합할 수 있다.

AWS는 세이지메이커 레이크하우스가 아마존 S3 데이터 레이크, 레드시프트 데이터 웨어하우스, 연합(federated) 데이터 소스에 저장된 데이터에 대한 통합 접근을 제공해 데이터 사일로를 줄이고 데이터가 물리적으로 어떻게 어디에 저장되어 있든 쉽게 쿼리할 수 있도록 한다고 밝혔다. 세이지메이커의 새로운 아파치 아이스버그 호환 레이크하우스 기능을 통해 고객사는 세이지메이커 유니파이드 스튜디오 내에서, 아파치 아이스버그 오픈 표준과 호환되는 친숙한 AI 및 ML 도구와 쿼리 엔진으로 모든 데이터에 접근하고 작업할 수 있다.

AWS는 제로-ETL을 통해 지루한 수작업 없이 데이터 통합을 수행하고, 필요한 곳에서 데이터를 쉽게 얻을 수 있게 한다고 설명했다. 여기에는 아마존 오로라 MySQL(Amazon Aurora MySQL)과 포스트그레(PostgreSQL), 아마존 RDS 포 MySQL(Amazon RDS for MySQL), 아마존 다이나모DB(Amazon DynamoDB)와 아마존 레드시프트의 제로-ETL 통합이 포함된다.

또한 SaaS 애플리케이션과의 새로운 제로-ETL 통합 기능은 고객이 애널리틱스 및 AI를 위해 세이지메이커 레이크하우스와 레드시프트에서 젠데스크(Zendesk)와 SAP와 같은 애플리케이션을 통해 자사 데이터에 쉽게 접근할 수 있도록 한다. 이는 구축하기 어렵고 비용이 많이 들며, 관리가 복잡하고, 시간에 민감한 인사이트 접근을 지연시킬 오류가 발생하기 쉬운 데이터 파이프라인의 필요성을 제거한다. SaaS 애플리케이션을 위한 제로-ETL 통합 기능은 전체 데이터 동기화, 증분 업데이트 및 삭제 감지, 대상 병합 작업에 대한 모범 사례를 통합한다.

차세대 세이지메이커는 6일부터 사용할 수 있다. 현재 세이지메이커 유니파이드 스튜디오는 프리뷰 버전으로 제공되고 있으며, 빠른 시일 내에 정식 출시될 예정이다.
[email protected]