AWS, 베드록에 ‘프롬프트 최적화’ 기능 추가… 생성형 AI 비용 절감 지원

AWS는 지난 목요일, 생성형 AI 애플리케이션을 구축·배포·확장할 수 있는 완전관리형 서비스인 아마존 베드록에 새로운 프롬프트 최적화 도구를 추가했다.

이번에 공개된 ‘아마존 베드록 고급 프롬프트 최적화(Amazon Bedrock Advanced Prompt Optimization)’는 베드록 콘솔을 통해 사용할 수 있으며, 여러 대형 언어 모델 전반에서 정확성·일관성·효율성을 높이기 위해 프롬프트를 자동으로 개선하도록 설계됐다.

AWS는 블로그를 통해 이 도구가 먼저 사용자 정의 데이터셋과 평가 지표를 기준으로 프롬프트를 평가한 뒤, 최대 5개의 추론 모델에 맞게 프롬프트를 재작성한다고 설명했다. 이후 최적화된 프롬프트와 기존 프롬프트를 다양한 모델에서 비교·벤치마킹해, 특정 워크로드에 가장 적합한 구성을 개발자가 식별할 수 있도록 지원한다.

현재 이 기능은 미국 동부·서부, 뭄바이, 서울, 싱가포르, 시드니, 도쿄, 캐나다(중부), 프랑크푸르트, 아일랜드, 런던, 취리히, 상파울루 등 여러 AWS 리전에서 정식 제공되고 있다.

요금은 최적화 과정에서 사용된 베드록 모델의 추론 토큰 사용량을 기준으로 부과되며, 기존 베드록 추론 워크로드에 적용되는 토큰당 요금 체계와 동일하게 책정된다.

생성형 AI 확장 비용 구조 개선에 기여

분석가들은 자동화된 프롬프트 개선 기능이 특히 생성형 AI를 실제 운영 환경으로 확장하는 과정에서 기업들이 직면하는 운영 과제 해결에 도움이 될 것으로 보고 있다.

컨설팅 기업 아바사(Avasant)의 가우라브 드완 연구 디렉터는 “이러한 도구에 대한 기업 수요는 단일 요인이 아니라 AI 확장 과정에서의 비용 압박과 운영 복잡성이 결합된 결과”라고 말했다.

그는 “기업들이 생성형 AI 워크로드를 실험 단계에서 운영 단계로 전환하면서 추론 비용은 빠르게 이사회 차원의 주요 관심사로 부상하고 있다”며 “프롬프트 효율성이 소폭 개선되더라도 대규모 환경에서는 운영 비용에 실질적인 영향을 미칠 수 있다”고 설명했다.

또한 그는 지연시간(latency) 역시 핵심 지표로 떠오르고 있다고 지적했다. 특히 고객 대상 AI 서비스에서는 응답 속도가 느릴 경우 사용자 채택에 직접적인 영향을 미칠 수 있으며, 프롬프트 최적화는 시행착오 방식이 아닌 체계적인 접근을 통해 품질·지연시간·비용을 동시에 개선하는 데 기여할 수 있다는 분석이다.

그레이하운드 리서치의 산칫 비르 고기아 수석 애널리스트는 “기업들의 멀티모델 AI 전략 확산 역시 자동화된 프롬프트 최적화 도구 수요를 높이는 요인”이라고 말했다.

그는 “기업들은 비용, 성능, 거버넌스 요구사항에 따라 모델 간 워크로드를 유연하게 이동하려 하고 있으며, 이 과정에서 프롬프트 최적화는 애플리케이션과 워크플로가 모델 간 이동 시에도 동작 일관성과 성능 저하 없이 운영되도록 하는 핵심 요소로 자리잡고 있다”고 강조했다.

하이퍼스케일러 간 경쟁 심화

기업들이 생성형 AI를 실제 운영 환경에 적용하는 과정에서 프롬프트 최적화에 주목하는 것은 AWS만의 움직임이 아니다.

구글 클라우드는 이미 ‘제미나이 엔터프라이즈 에이전트 플랫폼(Gemini Enterprise Agent Platform)’을 통해 유사한 프롬프트 최적화 기능을 제공하고 있으며, 평가 데이터셋과 지표를 기반으로 모델 전반에 걸쳐 프롬프트를 자동 개선하고 성능을 벤치마킹할 수 있다. 마이크로소프트 역시 ‘애저 AI 파운드리(Azure AI Foundry)’를 통해 프롬프트 오케스트레이션, 평가 파이프라인, 변형 테스트, 워크플로 벤치마킹 등 기업용 AI 애플리케이션에 필요한 기능을 제공하고 있다.

그레이하운드 리서치의 산칫 비르 고기아 수석 애널리스트는 이러한 하이퍼스케일러 간 경쟁 심화가 “AI 시스템의 평가, 모니터링, 거버넌스, 최적화, 마이그레이션, 보안, 운영을 대규모로 관리하는 엔터프라이즈 AI 운영 계층의 주도권을 둘러싼 경쟁”을 반영한다고 분석했다.

그는 AWS가 멀티모델 접근성과 함께 프롬프트 최적화, 평가, 마이그레이션 지원, 거버넌스 기능을 결합함으로써 아마존 베드록을 해당 운영 계층으로 자리매김하려 하고 있다고 평가했다.

한편, 제미나이 엔터프라이즈 에이전트 플랫폼(구글 버텍스 AI)은 AI 및 데이터 분석 생태계를 기반으로 경쟁력을 강화하고 있으며, 마이크로소프트 애저 AI는 기업 소프트웨어 워크플로에 AI 거버넌스를 통합하는 전략을 취하고 있다. 또한 오픈AI와 앤트로픽은 자사 모델 생태계와 긴밀히 연계된 개발자 중심의 평가 및 프롬프트 도구를 강화하는 방향으로 대응하고 있다.

이와 함께 데이터브릭스와 스노우플레이크는 AI 관측성과 거버넌스를 기업 데이터 환경에 보다 밀접하게 통합하고 있으며, 랭스미스(LangSmith)와 오픈소스 도구 프롬프트푸(Promptfoo) 같은 프레임워크는 높은 이식성과 모델 중립성을 원하는 기업들 사이에서 주목받고 있다.
dl-ciokorea@foundryco.com