AWS, 아마존 S3 벡터 서비스 공개··· “LLM 임베딩 저장비용 최대 90% 절감 가능”

AWS가 벡터 데이터베이스 대비 벡터 업로드, 저장, 쿼리 비용을 최대 90%까지 절감할 수 있는 특화 스토리지 서비스 ‘아마존 S3 벡터(Amazon S3 Vectors)’를 프리뷰 형태로 공개했다. 이는 클라우드에서 생성형 AI 또는 에이전틱 AI 애플리케이션을 운영하는 기업에게 주목을 받을 것으로 예상되고 있다.

머신러닝 모델은 일반적으로 데이터를 벡터, 즉 객체를 설명하는 여러 매개변수의 집합으로 표현한다. AI 시스템은 이러한 벡터 임베딩을 활용해 서로 다른 데이터 조각 간의 관계를 효율적으로 탐색하고 추론한다.

지금까지 기업들은 벡터를 유사성 검색과 대규모 데이터 검색에 최적화된 특수 벡터 데이터베이스나 벡터 기능이 내장된 데이터베이스에 저장해 왔다.

반면, AWS가 공개한 ‘아마존 S3 벡터’는 벡터 데이터를 저장하고 검색하는 데 최적화된 전용 S3 버킷으로, 전용 API를 통해 벡터를 처리할 수 있도록 설계돼 있다. 이로써 벡터 데이터베이스용 인프라를 별도로 구축하지 않아도 된다는 설명이다.

에베레스트 그룹(Everest Group)의 수석 애널리스트 라야 무케르지는 “아마존 S3나 기타 클라우드 기반 객체 스토리지는 구조 및 하드웨어 요구사항의 차이로 인해 벡터 데이터베이스보다 운영 및 유지 비용이 더 저렴하다. 기업이 AI 인프라를 단순화하고 운영 부담을 줄이며, 비용을 절감하는 데 도움을 줄 것”이라고 분석했다.

객체 스토리지는 오버헤드를 최소화하는 평면 아키텍처(flat architecture)를 기반으로 대규모 비정형 데이터를 효율적으로 저장하고 개별 파일을 빠르게 검색할 수 있도록 설계된 반면, 벡터 데이터베이스는 복잡하고 고차원적인 데이터를 위한 고성능 유사성 검색에 특화돼 있다. 이 과정에서 특수 인덱싱 방식과 하드웨어 가속 기술을 활용하기 때문에 인프라 및 운영 비용이 증가할 수 있다.

AWS에 따르면, 아마존 S3 벡터 버킷 하나당 최대 1만 개의 벡터 인덱스를 지원하며, 각 인덱스는 수천만 개의 벡터를 저장할 수 있다. 또한 벡터가 저장되거나 업데이트, 삭제될 때마다 성능과 비용 측면에서 자동으로 스토리지를 최적화하도록 설계돼 있다.

AWS는 이 서비스를 아마존 베드록 지식 베이스(Amazon Bedrock Knowledge Bases), 세이지메이커 통합 스튜디오(Amazon SageMaker Unified Studio), 오픈서치 서비스(Amazon OpenSearch Service)와도 통합했다.

무케르지는 “이런 통합 덕분에 데이터세트가 확장되고 변화하더라도 리소스를 효율적으로 사용할 수 있을 것”이라고 분석했다.

베드록 지식 베이스 및 세이지메이커 스튜디오와의 통합은 개발자들이 RAG 애플리케이션을 구축할 수 있도록 지원한다. 이를 통해 LLM 미세조정 비용을 절감하고 환각 현상도 줄일 수 있다. 반면, 오픈서치와의 연동은 자주 조회되지 않는 벡터를 비용 효율적으로 저장할 수 있는 유연성을 제공한다.

AWS는 “필요 시 벡터를 오픈서치로 동적으로 이동시켜 실시간 저지연 검색에 활용할 수 있다”라고 설명했다.

현재 아마존 S3 벡터 및 베드록, 오픈서치, 세이지메이커와의 통합 기능은 미국 동부(버지니아 북부, 오하이오), 미국 서부(오리건), 유럽(프랑크푸르트), 아시아 태평양(시드니) 등 5개 리전에서 프리뷰 형태로 이용할 수 있다.
dl-ciokorea@foundryco.com