가트너 “AI 제어 위한 ‘가디언 에이전트’ 증가···2030년까지 10~15% 차지”

가트너가 가디언 에이전트 기술이 2030년까지 에이전틱 AI 시장에서 최소 10~15%를 차지할 것으로 전망했다. 또한, CIO와 IT 책임자 147명을 대상으로 실시한 웨비나 여론 조사를 통해 응답자의 24%는 12개 미만의 AI 에이전트를 배포했고 4%는 12개 이상을 배포한 것으로 나타났다.

가디언 에이전트는 AI와 에이전트 시스템에서 적용하는 것과 보안 및 사이버 보안시스템에서 활용하는 방안으로 크게 나눌 수 있다. 가트너가 언급한 가디언 에이전트는 AI와 에이전트 시스템에서 ‘AI와의 신뢰할 수 있고 안전한 상호 작용을 지원하도록 설계된 AI 기반 기술’을 의미하며, 두 가지 개념을 모두 포괄한 것으로 볼 수 있다.

콘텐츠 검토, 모니터링, 분석 등의 작업을 수행하는 AI 비서, 미리 정의된 에이전트 목표에 맞춰 계획을 수립하고 실행하며 작업을 재지정하거나 차단할 수 있는 반자율 또는 자율 에이전트 등이 여기에 속한다. 즉, 각각의 에이전트를 모니터 하면서 안정성과 윤리성을 보장하는 감시와 중재 역할을 담당한다.

앞에서 언급한 설문 조사에서 응답자의 50%는 가디언 에이전트 기술을 연구하고 실험 중이라고 답변했고, 17%는 아직 연구 또는 실험 단계에 있지만 늦어도 2026년 말까지 기술을 구축할 계획이라고 응답했다. AI 에이전트를 안전하게 관리하고 조율하려면 자동화된 신뢰, 위험, 보안 제어가 필수적인 만큼 이와 관련된 기술이 필요하다.

특히 AI 에이전트 사용 사례가 증가하면서 입력 조작, 데이터 오염, 데이터 도난 등의 위험 요소가 갈수록 증가할 것으로 예상된다. 신원 정보 탈취나 남용으로 인해 승인되지 않는 제어 발생, 가짜 또는 범죄 소스나 사이트와 상호작용하는 에이전트의 악행, 내부 및 외부적 요인으로 발생하는 에이전트의 이탈과 일탈로 인한 평판 손상이나 운영 중단 등은 심각한 문제 요소다.

이러한 위험 요소를 사전이 차단하려면 CIO, 보안 및 AI 관련 리더들은 검토(Reviewers), 모니터(Monitors), 보호자(Protectors) 역할을 강화해야 한다. AI가 생성한 콘텐츠를 검토해 정확성을 확인하고, 사람이나 AI가 수행할 다음 작업에 대한 AI의 작동을 관찰하고 추적하며, AI 에이전트의 작업과 권한을 조정하거나 차단하는 것이다.

가트너의 수석 애널리스트인 아비바 리탄(Avivah Litan)은 “AI 에이전트의 빠른 가속화와 증가로 인해 기존의 인간 감독을 넘어서는 변화가 필요하다. 기업이 빠른 속도로 통신하는 복잡한 다중 에이전트 시스템으로 이동함에 따라 인간은 오류와 악의적인 활동의 잠재력을 따라잡을 수 없다. 이러한 위협 환경의 증가는 AI 애플리케이션과 에이전트에 대한 자동화된 감독, 제어 및 보안을 제공하는 가디언 에이전트를 긴급하게 필요로 한다”라고 조언한다.
dl-ciokorea@foundryco.com