칼럼 | 잘 고르면 개발 시간 50%까지 단축···AI 에이전트 빌더 플랫폼 선택 시 확인할 5가지

CIO는 올해 IT팀이 개별 AI 소프트웨어 패키지를 평가하고 도입하는 단계를 넘어, 맞춤형 AI 에이전트를 고객 대상 및 내부 비즈니스 애플리케이션에 통합해 자동화와 생산성을 더욱 향상하는 방향으로 빠르게 전환하고 있을 가능성이 높다.

대부분의 기업은 최소 하나 이상의 AI 에이전트 빌더 플랫폼을 활용하게 될 것이다. AI 에이전트 빌더 플랫폼을 포함한 모든 AI 도구는 날마다 혁신과 업데이트가 이뤄지고 있어, 이러한 도구를 선택할 때는 여러 가지 사항을 고려해야 한다. 기본적인 기능과 가격 외에도 성공 여부를 좌우할 수 있는 핵심 요인을 살펴보자.

1. 에이전트 빌딩 환경

에이전트 구축 환경 자체를 우선 살펴보면, 에이전트 벤더는 현재 학습과 혁신을 진행하는 단계에 있다. 이들은 대규모 언어 모델(LLM) 제공업체와 모델에 대한 전문성을 보유하고 있으며, 각 모델의 장단점을 정확히 파악하고 있다. 그러나 사용자 인터페이스(UI)와 구축 환경에 대한 고객 중심적 접근은 아직 미흡한 실정이다. 전체 스튜디오 환경이 수시로 변경될 수 있어, 에이전트 생성과 동시에 최신 버전으로의 마이그레이션이 가능하다.

이런 벤더 기술을 이용할 때는 직관적이고 테스트가 용이한 빌더 환경인지 확인해야 하며, 에이전트의 단기 및 장기 메모리 기능과 같은 고급 옵션이 지원되는지도 살펴야 한다. 또한, 책임 있는 AI를 위한 기능(답변 재검토, 근거 기반 답변, 맥락 연관성)과 안전한 AI를 위한 기능(공정성 및 편향 감지, 독성 검사, 인간 개입, PII(개인 식별 정보) 삭제)도 중요하다.

구독 모델을 사용하는 경우, 사용량을 한눈에 확인할 수 있는 기능이 있는지 확인해야 하며, AI를 활용해 에이전트의 역할과 지침을 개선할 수 있는 부가 기능도 고려해야 한다.

2. 구체적인 API 문서

AI 에이전트 빌더 플랫폼에서 에이전트를 구축한 후에는 API 호출을 통해 이를 자체 애플리케이션에 적용해야 한다. 따라서 API 관련 기술 문서뿐만 아니라, 실시간 에이전트 프로비저닝 등의 과정에 대한 상위 개념의 설명도 필요하다.

명확한 문서가 제공되면 IT팀이 환경 설정, RAG(Retrieval-Augmented Generation) 생성 및 학습, 에이전트 구축, 에이전트 상호작용 및 질의 처리까지 필요한 절차를 빠르게 익힐 수 있다.

또한, 토큰 사용량 모니터링 및 보고 기능, AI 에이전트의 보안 및 성능 모니터링, 외부 시스템과의 통합에 대한 문서도 갖춰져 있어야 한다. 이런 정보가 명확할수록 IT팀과 벤더 간의 불필요한 커뮤니케이션을 줄일 수 있으며, 개발 및 테스트 기간을 절반가량 단축할 수 있다.

3. 전문 서비스 및 기술 지원

AI 에이전트 빌더 환경은 지속적으로 변화하는 만큼 유동적일 수 있다. 따라서 변화에 맞게 벤더가 전문적인 서비스와 기술 지원을 제공하는지도 중요한 요소다. 이를 통해 도입 및 구현 과정에서 팀의 역량을 강화하고, 벤더의 기술이 충분히 믿을 만하다는 확신을 가질 수 있다.

기업은 지원이 탄탄한 벤더를 선택해야 하며, IT팀과 협력하며 성공적인 에이전트 구축을 돕는 파트너십을 제공하는지도 살펴야 한다. 벤더의 리더십 팀과 직접 소통할 기회가 있다면 더욱 좋다. 이들은 플랫폼을 최대한 활용할 전략적 조언을 제공할 뿐만 아니라, AWS 파트너십이나 자체 제휴 프로그램 같은 다양한 지원 프로그램을 안내할 수 있다.

4. 시스템 가용성 보장 수준

AI 에이전트 인프라의 시스템 가용성(업타임)은 API 호출을 통해 모니터링할 수 있다. 성공적인 배포를 위해선 이런 모니터링은 꼭 필요하다. 단, AI 에이전트 빌더 플랫폼이 스타트업이 만든 것이라면(실제로 다수가 그렇다), 최신 버전으로 마이그레이션하거나 API, 에이전트, RAG, 툴링 환경을 변경하는 과정에서 간헐적인 다운타임이 발생할 가능성이 있다.

이런 문제를 최소화하기 위해 API 호출을 활용한 모니터링 기능이 내장되어 있는지 확인해야 한다. 또한, 문제가 발생했을 때 신속하게 벤더와 연락할 수 있는 채널이 마련되어 있는지도 살펴야 한다.

AI 에이전트의 성능 모니터링에서는 응답 속도, 정확성, 가용성을 점검해야 한다. 오류율도 중요한 지표다. 에이전트가 제공하는 응답의 오류 빈도와 유형(잘못된 응답, 환각, 정보 검색 오류 등)을 확인해야 한다. 특히, 에이전트가 맥락을 잃는 경우가 많기 때문에 단기 및 장기 메모리 설정을 살펴보고, 에이전트가 유지하는 컨텍스트 개수가 충분한지도 점검해야 한다.

5. 제품 로드맵

위 4가지 항목들을 모두 고려한 후에는, 벤더의 제품 로드맵도 살펴봐야 한다. 예를 들어, 현재 에이전트가 텍스트 기반 출력을 제공하고 있다면, 향후 오디오, 이미지, 비디오를 포함한 멀티모달 기능으로 확장할 계획이 있는지 확인해보자. 이런 로드맵은 향후 AI 에이전트 도입을 확대할 때 큰 영향을 미칠 수 있다.

서드파티 도구 및 통합 지원 여부도 필수적으로 검토해야 한다. 예를 들어, 벤더가 X(구 트위터)와 같은 소셜미디어 게시물 연동 기능을 제공한다면, 링크드인과 같은 타 소셜 플랫폼도 지원할 계획이 있는지 확인하는 것이 좋다. 신기능을 도입할 때, 사전 제공되는 예제 코드나 가이드가 있는지도 체크해야 한다.

다행히도 AI 에이전트 빌더 플랫폼은 매일 더욱 직관적인 인터페이스, 풍부한 문서, 다양한 통합, 새로운 활용 사례로 발전하고 있다. 혁신의 속도는 놀라울 정도이며, 이 업계에서 회사를 운영하는 설립자들은 경쟁에서 앞서 나가기 위해 이른 새벽부터 하루를 시작하는 경우가 많다. 강력한 AI 에이전트 빌더 플랫폼과 협력하면 IT팀이 AI 시스템 구축에 시간을 쏟기보다, 비즈니스 로직, 사용자 경험, 통합 작업에 집중할 수 있다. 최적의 플랫폼을 선택해, AI 에이전트가 비즈니스에 실질적인 가치를 제공하도록 해야 한다.
dl-ciokorea@foundryco.com