“AI가 실수하면 보험으로 보장” 일레븐랩스, AI 에이전트 리스크 보장 체계 공개

인공지능(AI) 오디오 연구 및 개발 기업 일레븐랩스가 AI 리스크 평가 전문 기업 AIUC(Artificial Intelligence Underwriting Company)와 협력해 AI 음성 에이전트 전용 보험 제도를 도입한다고 18일 밝혔다.

이번 제도는 기업의 고객지원이나 영업 현장에서 활용되는 일레븐랩스의 AI 에이전트 ‘일레븐에이전트(ElevenAgents)’가 잘못된 정보를 제공하거나 부적절한 대응으로 인해 손해가 발생할 경우, 이에 대한 보장을 제공하는 구조를 갖추고 있다. 이를 통해 AI를 단순한 소프트웨어가 아니라 일정한 책임을 수반하는 ‘디지털 직원(Digital Employee)’으로 볼 수 있다는 것이 일레븐랩스 측의 설명이다.

일레븐랩스에 따르면, 현재 많은 기업이 AI 에이전트 도입을 검토하고 있으나, 여전히 시범 운영 단계에 머무는 경우가 많다. 특히 환각이나 부적절한 발언으로 인한 법적·경제적 책임이 불명확하다는 점이 도입을 주저하게 만드는 주요 요인으로 지적된다. 이러한 문제를 완화하기 위해 일레븐랩스는 AIUC와 협력해 위험 검증 절차를 마련하고, AI를 하나의 관리 가능한 자산으로 정의하는 기준을 제시했다.

일레븐랩스의 AI 에이전트는 AIUC가 개발한 보안·신뢰성 기준인 AIUC-1 인증을 획득했다. 해당 인증은 환각, 프롬프트 인젝션 공격, 데이터 유출, 편향성 등 실제 AI 시스템에서 발생할 수 있는 다양한 위험 시나리오를 기반으로 5,000건 이상의 적대적 시뮬레이션 테스트를 거치는 방식으로 진행되며, 이를 통과한 에이전트에 한해 일정 수준의 안정성과 신뢰성이 확보된 것으로 평가된다.

이와 함께 인증된 AI 에이전트의 행위는 인간 직원의 업무상 실수와 유사한 범주로 간주돼 보험 적용 대상이 되며, 기업 환경에서 활용 가능한 수준의 안전성과 컴플라이언스 기준을 충족하도록 설계됐다. 해당 제도는 한국에서 일레븐에이전트를 도입한 기업에도 적용된다.

다만 보험은 모든 AI 에이전트에 자동 적용되는 구조는 아니며, 개별 에이전트별로 AIUC의 감사와 함께 운영 환경 및 리스크 프로필에 따른 AIUC-1 인증을 별도로 받아야 한다. 인증의 유효기간은 12개월이며, 이를 유지하기 위해 최소 3개월마다 기술 테스트를 수행해야 한다. 또한 보험료는 인증 비용과는 별도로 책정되며, 에이전트의 유형과 운영 방식에 따라 달라진다.

일레븐랩스는 이번 제도가 AI를 ‘문제가 발생하면 수정하는 도구’에서 ‘업무를 수행하는 주체’로 바라보는 흐름과 맞닿아 있다고 밝혔다. 특히 고객 응대 과정에서 발생할 수 있는 오류나 부적절한 안내로 인한 손해를 보장함으로써, 기업이 보다 명확한 리스크 관리 체계 안에서 AI를 도입할 수 있는 환경을 조성하려는 취지라고 전했다. 동시에 AIUC-1 인증과 보험 체계는 기업 내 AI 도입을 가로막아온 신뢰 문제를 완화하는 장치로 작용할 수 있을 것으로 기대했다.

일레븐랩스 CEO 겸 공동창업자 마티 스타니셰프스키는 “기업의 AI 에이전트 도입은 빠르게 확대되고 있으며, AIUC-1 인증은 기업이 자신 있게 대규모로 AI를 도입하기 위한 또 하나의 중요한 단계”라며, “이번 인증은 파트너 기업이 필요로 하는 보안 프레임워크와 AI 보험 보장을 제공하며, 기업이 리스크를 최소화하면서도 뛰어난 고객 경험 구축에 집중할 수 있도록 하는 새로운 수단이 될 것”이라고 말했다.

AIUC(The Artificial Intelligence Underwriting Company)는 AI 에이전트에 대한 인증, 감사, 보험을 제공함으로써 보다 안전한 AI 도입을 지원하는 기업이다. 앤트로픽 등 AI 분야 경험을 보유한 전문가들이 설립했으며, 오릭(Orrick), 스탠퍼드 대학교, 클라우드 보안 얼라이언스, MITRE 등과 협력해 AIUC-1 표준을 개발했다. 이 표준은 AI 에이전트의 보안성과 신뢰성을 평가하기 위한 기준으로 활용되기도 한다.
jihyun.lee@foundryco.com