“절반은 관리되지 않는다” AI 에이전트 300만 시대, 거버넌스 과제는?

API 관리 플랫폼 기업 그래비티(Gravitee)가 지난 4일 공개한 연구에 따르면, 현재 미국과 영국 기업에서 사용 중인 AI 에이전트 가운데 절반 이상이 거버넌스 체계 없이 운영되고 있으며, ‘통제 불능 상태가 될 위험’에 놓인 것으로 나타났다.

이번 결과는 2025년 12월 여론조사 기관 오피니언 매터스(Opinion Matters)가 IT 임원과 실무자 750명을 대상으로 실시한 설문조사에 기반한다. 조사에 따르면 현재 AI 에이전트 도입 속도는 보안팀의 대응 역량을 앞지르고 있다. 그래비티의 CEO 로리 블런델은 기업 환경에서 300만 개가 넘는 AI 에이전트가 운영되고 있다면서, 이는 전 세계 월마트 전체 직원 수를 웃도는 규모에 해당한다고 설명했다.

300만 개라는 수치는 직원 수 250명 이상인 영국 기업 8,250곳과 미국 기업 7만 7,000곳에 대한 정부 통계를 기반으로 설문 결과를 외삽해 산출됐다. 기업당 평균 AI 에이전트 도입 수는 36.9개였다.

조사에서 응답자에게 “지난 12개월 동안 AI 에이전트와 관련된 보안 또는 데이터 프라이버시 사고를 경험했거나 의심한 적이 있는가”라고 묻자, 88%가 그렇다고 답했다. 모니터링 및 보안 통제를 적극적으로 적용하지 않은 에이전트의 평균 비율은 53%였다.

블런델은 연구 진행 배경에 대해 “코드베이스를 삭제하거나 기밀 정보를 유출하고, 허위 데이터를 만들어내는 등 AI 에이전트가 통제 불능 상태로 문제를 일으킨 사례는 이미 잘 알려져 있다. 에이전틱 AI의 도입은 흥미로운 단계에 접어들었지만, 기업이 아직 에이전트 거버넌스 측면에서 이를 따라가지 못하고 있다는 가설에서 연구를 시작했다. 조사 결과를 통해 이를 확인할 수 있었다”라고 설명했다.

전 세계적인 문제

블런델은 AI 에이전트가 기업 생산성 향상에 기여할 수 있지만, 동시에 기업이 리스크를 현실적으로 인식할 필요가 있다고 지적했다. 그는 “거버넌스와 감독이 뒷받침되지 않으면 AI 에이전트는 쉽게 소비자와 기업 모두에게 위협이 될 수 있다”라고 경고했다.

또한 그는 응답자가 미국과 영국에 한정됐지만, 관찰된 문제의 양상은 특정 국가에 국한되지 않는다고 설명했다. 블런델은 “전 세계 기업이 AI 에이전트를 활용하고 있으며, 지역을 불문하고 도입 속도와 거버넌스 수준 사이에 공통적인 격차가 존재한다. 강력한 고객 기반을 보유한 유럽연합(EU)에서도 동일한 문제가 나타나고 있다”라고 말했다.

보안 인식 교육 기업 보세론 시큐리티(Beauceron Security)의 대표 데이비드 시플리는 “놀라운 점은 모니터링되지 않는 에이전트 비율이 53%에 불과했다는 점이다. 실제 수치는 더 높을 것”이라고 설명했다.

시플리는 그래비티 연구 결과를 두고 “기술 업계가 계속 외면해 온 타이타닉호의 교훈과도 같다”라고 비유했다. 그는 “타이타닉호 참사는 항해 중 빙산이 있을 수 있다는 사실을 몰라서 발생한 것이 아니다. 당시에도 빙산이 가장 많은 시기라는 점을 알고 있었고, 속도가 지나치게 빠르다는 사실 역시 인지하고 있었다”라고 설명했다.

이어 시플리는 “선장과 승무원은 빙산을 사전에 탐지할 수 있을 것이라 믿었고, 설령 이를 놓쳐 충돌하더라도 기술적 통제 장치가 보호해 줄 것이라고 생각했다”라고 말했다. 그에 따르면, 선장과 승무원은 소위 ‘방수 격벽’에 의존했지만, 실제로는 상부 구획은 방수가 되지 않았다. 무엇보다 문제가 생기면 새로운 무선 통신 기술을 활용해 구조 요청을 할 수 있을 것이라고 여겼다. 그는 지금의 상황도 마찬가지라고 지적하면서, “AI 에이전트로 문제가 발생하더라도 IT와 보안팀이 해결해줄 것이라는 인식이 오늘날의 대응 방식”이라고 설명했다.

시플리는 이어 “당시에도 잘못된 판단이었고, 지금은 훨씬 더 잘못된 판단일 수 있다. AI 에이전트가 본질적으로 위험하고 신뢰하기 어렵다는 사실은 이미 알려져 있으며, 이를 입증하는 수학적 증명도 존재한다. 즉, 빙산이 있다는 사실을 우리는 이미 알고 있다”라고 말했다. 그러면서 “다시 한번 강조하자면, 모든 AI 에이전트는 통제 불능 상태로 변할 잠재력을 갖고 있다. 그런 일이 일어나지 않는다고 장담하면서 기반 기술이 대규모 언어 모델(LLM)이라고 주장하는 벤더가 있다면 경계해야 한다. 리스크를 통제할 방법이 마련되기 전에 이미 도입 속도가 지나치게 빠르다는 점도 우리는 알고 있다”라고 언급했다.

이어 그는 다시 타이타닉의 비유를 들며 “AI 에이전트의 53%가 모니터링되지 않는 상황은 마치 타이타닉호가 방수 격벽이 제대로 작동하지 않는다는 사실을 알면서도 운행을 이어가는 상황과 같다. 따라서 IT와 보안 조직이 AI 에이전트의 위험에 대응하기 시작할 무렵이면 이미 피해는 발생한 뒤일 가능성이 크다. 배는 너무 빠르게 가라앉고, 무선 통신으로 구조 요청을 해도 도움은 제때 도착하지 않을 가능성이 높다. 그럼에도 우리는 지금도 같은 선택을 반복하고 있다”라고 경고했다.

문제의 본질은 ‘통제 불능 AI’가 아니라 ‘보이지 않는 AI’

인포테크 리서치 그룹(Info-Tech Research Group)의 수석 리서치 디렉터 마니시 자인은 AI 기술 발전 속도가 기하급수적으로 빨라지면서, 2028년이면 전 세계적으로 사람 직원 수보다 AI 에이전트가 더 많아질 것이라고 내다봤다. 그는 CIO 및 CDO와의 협업 경험을 바탕으로 “이들 AI 에이전트가 만들어내는 혁신을 훼손하지 않으면서 통제하는 것이 기업과 IT 경영진의 핵심 과제가 될 것”이라고 말했다.

자인은 현재 시점에서도 대부분의 기업용 AI 에이전트가 감독 없이 운영되고 있다고 지적했다. 그는 “많은 조직이 몇 개의 AI 에이전트를 보유하고 있는지, 어디에서 실행되고 있는지, 어떤 시스템이나 데이터에 접근할 수 있는지조차 알지 못한다. AI 에이전트가 어떤 권한으로 운영되고 있는지조차 모른다면, 보안 사고나 시스템 장애가 발생하는 것은 시간 문제일 수 있다”라고 진단했다.

자인은 “관리되지 않는 에이전트는 승인된 로우코드 도구나 비공식적인 실험을 통해 생성되는 경우가 많고, 문제가 발생하기 전까지는 기존 IT의 감시 체계를 피해 간다. 보이지 않으면 통제도 불가능하다. 따라서 초점을 맞춰야 할 부분은 ‘통제 불능 AI’가 아니라, 조직이 인지하지 못한 채 운영되고 있는 ‘보이지 않는 AI’라는 사실을 이해해야 한다”라고 조언했다.

그는 또한 “인포테크는 AI 모델을 통제하거나 에이전트를 사전 승인하는 방식만으로는 더 이상 충분하지 않다고 본다. 보이지 않는 불량 에이전트가 실제 운영 단계에서 파괴적인 행동을 일으킬 수 있기 때문”이라고 말했다. 이어 “AI 에이전트를 통제하려 할 때 그 수가 너무 방대해 혁신을 중단하지 않고는 승인 절차를 지속할 수 없을 가능성도 있다. 따라서 AI 전략의 일환으로 초기 가드레일을 설정한 이후에는, 지속적인 모니터링과 감독이 AI 거버넌스의 최우선 과제가 돼야 한다”라고 강조했다.

자인은 시각의 전환도 필요하다고 짚었다. 그는 “AI 에이전트는 더 이상 단순히 업무를 돕는 봇이 아니다. 광범위한 권한이 위임된 상태에서 지속적인 접근 권한을 가지고 작동하고, 책임 소재 역시 명확하지 않은 경우가 많다. 과도한 권한을 부여받은 에이전트는 새로운 형태의 내부자 위협이 될 수 있으며, 기업에 큰 비용 부담을 줄 수 있다”라고 경고했다. 이어 “AI 에이전트에 단계적인 접근 권한을 정의할 필요가 있다. 업무 속도를 높이려면 일부에게 권한을 맡겨야 하지만, 모든 대상에게 권한을 부여한다면 문제가 발생했을 때 그 책임을 기술이나 도구 탓으로 돌릴 수는 없다”라고 설명했다.
dl-ciokorea@foundryco.com