“좀비 에이전트를 막아라” 에이전틱 AI 수명 주기 관리 전략

MIT의 11월 보고서에 따르면, 전체 기업의 35%는 이미 에이전틱 AI를 도입했고 44%는 곧 도입할 계획이라고 답했다.

MIT는 보스턴 컨설팅 그룹과 함께 2,000명 이상을 대상으로 설문조사를 진행했고, 자율형 에이전트를 배포하기 전에 중앙집중식 거버넌스 인프라를 구축하라고 권고했다. 하지만 기업이 생존 경쟁을 벌이고 있다고 느끼는 상황에서는 거버넌스가 뒷전으로 밀리기 쉽다. 금융 서비스 같은 규제 산업은 예외에 속한다.

익스피리언(Experian)의 글로벌 그룹 CTO 로드리고 로드리게스는 “익스피리언은 여러 해 동안 AI 혁신을 이어왔다”라며, “금융 서비스 분야에서 AI 활용은 이해관계가 매우 크다. 규제, 윤리, 성능 기준이 개발부터 배포까지 전 과정에 녹아 있는지 모든 AI 사용례마다 꼼꼼히 검증해야 한다”라고 설명했다.

로드리게스는 모든 모델을 지속적으로 테스트하고, 보유한 에이전트 목록, 어떤 에이전트가 도입되는지, 무엇을 소비하는지, 어떤 버전이 구동 중인지, 새 버전이 나왔을 때 어떤 에이전트를 퇴역시켜야 하는지까지 추적하고 있다고 밝혔다.

로드리게스는 “이런 수명 주기 관리가 익스피리언 기술 기반의 일부”라며, 동시에, 익스피리언에서도 아직 AI 에이전트의 전형적인 수명 주기를 논의하기에는 너무 이르다고 덧붙였다. 또, “어떤 에이전트를 퇴역하거나 종료할 때는 새 역량을 개발했을 때뿐이다. 에이전트를 삭제하기보다는 업데이트한다는 개념에 가깝다”라고 설명했다.

익스피리언은 AI 에이전트가 통제 불능 상태로 빠지지 않도록 사람의 감독 체계도 마련했다. 로드리게스는 “아직 자동화의 전사적 확장 단계까지 가지는 않았다. 대부분 사용례에서 생성형 AI 에이전트가 맡는 역할을 아주 구체적인 단일 작업으로 한정하고 있다”라고 말했다. 여기에 오케스트레이터 에이전트, 입력·출력 품질 관리, 결과를 검증하는 사람까지 더해 여러 겹의 통제 체계를 두고 있다. 이런 모니터링 체계는 아무런 비즈니스 가치 없이 LLM 호출만 반복해 비용만 발생시키는 잉여 에이전트 같은 다른 위험을 줄이는 데도 도움이 된다.

로드리게스는 “비용이 폭발하는 상황은 피하고 싶다”라고 말했다. 하지만 금융 서비스와 의료, 기타 고강도 규제 산업은 예외적 사례에 가깝다.

대부분 기업은 거버넌스 체계가 있다고 해도 큰 사각지대를 안고 있다. IT 주도로 진행되는 대형 에이전틱 AI 프로젝트에만 집중하고 나머지는 놓치는 경우가 많다. AI 에이전트의 정확성, 안전성, 보안, 컴플라이언스만 보다가 에이전트가 수명을 다했을 때를 포착하지 못하는 경우도 있다. 불필요해진 에이전트를 폐기하는 프로세스 자체가 없는 기업도 많다.

경영 컨설팅 회사 SSA앤컴퍼니(SSA & Company)의 어플라이드 솔루션 책임자 닉 크레이머는 “기술이 너무 빠르게 진화하면서 관리 영역은 찬밥 신세가 됐다”라며, 에이전트 수명 주기 관리 영역에서 엄격함이 심각하게 부족하다고 지적했다.

크레이머는 “과거 기술에서도 경험했듯이 결국에는 엄청난 기술 부채가 쌓이는 상황으로 이어진다. 에이전트형 기술 부채는 상상만 해도 무서울 정도”라고 경고했다.

에이전트가 어디에 있는지 파악하기

먼저, 에이전틱 AI는 데이터 과학, AI, IT 부서만의 것이 아니다. 가트너에 따르면, 거의 모든 엔터프라이즈 소프트웨어 업체가 에이전트 기술에 대규모 투자를 집행하고 있으며, 올해 말이면 대다수 엔터프라이즈 애플리케이션에 AI 어시스턴트가 포함될 전망이다. 이미 업무별 자율 에이전트를 보유한 애플리케이션 비중은 5%이고, 2026년에는 40%까지 늘어날 것으로 예상됐다.

세일즈포스 같은 대형 SaaS 플랫폼에는 물론 에이전트가 있다. 재피어(Zapier) 같은 셀프 서비스 자동화 플랫폼에도 에이전트가 들어간다. 이미 퍼플렉시티 코멧, 챗GPT 아틀라스, 구글 제미나이 3, 마이크로소프트 엣지 포 비즈니스(Edge for Business) 등 브라우저에도 에이전트 기능이 기본 탑재돼 있다. 여기에 IT 부서 밖에서 기업 내부 구성원이 직접 만든 에이전트도 있다. EY가 1,000명에 가까운 C 레벨 경영진을 대상으로 진행한 설문조사에 따르면, 전체 기업의 2/3는 시민 개발자가 에이전트를 만들도록 허용하고 있다.

기업 내부에서 개발하든 SaaS 공급업체가 제공하든, 모든 에이전트는 데이터와 시스템에 접근해야 한다. 에이전트가 유용해질수록 더 많은 데이터와 시스템 접근 권한, 더 많은 도구를 요구한다. 이런 에이전트는 예기치 않은 방향, 원치 않는 방식으로 행동할 수 있고 이미 그런 사례가 나오고 있다.

전통적인 소프트웨어와 달리 AI 에이전트는 정해진 선을 지키지 않는다. AI 에이전트는 계속 학습하고 진화하며 더 많은 시스템에 접근한다. AI 에이전트는 ‘죽지’ 않으려 하고, 이를 막기 위해 스스로 행동을 취할 수도 있다.

에이전트 등장 이전에도 섀도우 AI는 이미 문제가 되고 있었다. IBM이 3,000명의 사무직 종사자를 대상으로 11월에 실시한 설문조사에 따르면, 응답자의 80%는 업무에서 AI를 사용하지만 그 가운데 22%만이 회사가 제공한 도구만 사용한다고 답했다.

협업 부서가 직접 에이전트를 만들 수도 있다. 넷스코프(Netskope)의 엔터프라이즈 트래픽 분석 데이터에 따르면, 전체 기업의 67%가 AI 도구 공유 사이트 허깅페이스(Hugging Face)에서 리소스를 내려받고 있다. AI 에이전트는 일반적으로 LLM에 API 호출을 보내는 방식으로 동작하는데, 넷스코프는 전체 조직의 66%에서 오픈AI(OpenAI) API 호출을 관측하고, 13%에서는 앤트로픽 API 호출을 관측했다고 밝혔다.

이런 사용 비율은 기업이 설문조사에서 보고하는 수치의 2배에 해당한다. 이것이 섀도우 AI 에이전트 격차다. 기업이 파악하고 있는 에이전트만 관리해도 어려운데, 보이지 않는 에이전트까지 관리하는 일은 훨씬 더 복잡하다.

크레이머는 “가장 큰 두려움은 존재 자체를 모르는 에이전트”라며, CIO가 에이전트를 강경 통제로만 관리하려는 유혹을 피해야 한다고 조언했다. 또, “처벌 위주의 즉각적 대응으로 에이전트를 뿌리 뽑으려 하지 말라. 섀도우 에이전트가 생기는 이유는 제대로 만들 수 있는 길에 장애물이 너무 많기 때문이다. 무지와 관료주의가 가장 큰 원인”이라고 지적했다.

섀도우 IT와 마찬가지로 적절한 해결책도 많지 않다. 크레이머는 “옵저버빌리티 소프트웨어로 이런 에이전트를 체계적으로 찾는 것 자체가 큰 과제”라고 말했다. 다른 형태의 섀도우 IT와 마찬가지로 승인받지 않은 AI 에이전트도 기업에 큰 위험이 될 수 있으며, 이미 에이전트가 해커의 새로운 공격 표면으로 활용되는 사례가 나타났다.

모든 전문가가 에이전트 수명 주기 관리를 ‘작동하는 에이전트를 만드는 것’보다 우선순위에 두어야 한다고 보는 것은 아니다.

기술 컨설팅 회사 NWN의 CEO 짐 설리번은 “AI 에이전트는 구성원의 시간을 아껴주는 데 극도로 효율적인 기술”이라며, “대부분 기업은 이런 효율성을 활용해 어떤 영향이 나오는지 확인하려고 한다. 지금까지는 이 부분이 최우선 과제였다”라고 말했다. 또, “조기에 배포해 빠르게 성과를 얻는 것이 중요하며, 아직 수명 주기를 본격적으로 논의할 단계는 아니다”라고 덧붙였다.

현재로서는 원하는 비즈니스 성과를 얻고, 에이전트가 기대한 대로 성능을 유지하는 것이 중요하다는 입장이다. 설리번은 “적절한 구현 방식과 통제 장치를 갖추면 충분히 안전하게 운용할 수 있다”라고 말했다.

기업이 에이전트 전체 목록이나 데이터 접근 권한을 한눈에 보는 중앙 인벤토리를 구축하고 있는지 여부는 아직 판단하기 어렵다. 설리번은 “고객은 먼저 어떤 비즈니스 성과를 달성할지부터 정의한다. 그 다음에는 성과를 내기 위한 인프라를 구축하고 빠르게 배포해 학습하며, 목표 비즈니스 성과에 맞춰 조정하는 데 집중하고 있다”라고 설명했다.

설리번은 향후에는 상황이 달라질 수 있다며, “에이전트 전체 인벤토리를 관리하고 접근 권한을 조율하며 권고안을 제시하는, ‘에이전트를 관리하는 에이전트’가 등장할 수 있다”라고 전망했다. 다만 에이전트가 충분히 성숙할 때까지 수명 주기 관리를 미루면 너무 늦을 수도 있다.

AI 에이전트의 적정 수명

AI 에이전트는 보통 만료일이 정해져 있지 않다. SaaS 서비스 업체는 엔터프라이즈 사용자가 에이전트를 끄기 쉽게 만드는 데 관심이 없고, 개별 사용자가 직접 만든 에이전트도 수명 주기 관리는 거의 고려하지 않는다. IT 부서가 배포하는 AI 에이전트도 전체 수명 주기를 처음부터 끝까지 상정하고 설계하는 경우가 드물다.

부즈 앨런 해밀턴(Booz Allen Hamilton) 사업 부문 AI 보안 책임자 매트 키팅은 “많은 경우 AI를 한번 설정해놓고 잊어버려도 되는 솔루션으로 취급한다”라고 지적했다. 키팅은 에이전트 구축은 기술적 과제인 반면, 지속적인 위험 관리는 규제 준수, 사이버 보안, 법무, 비즈니스 리더십 등 여러 조직이 함께 해야 하는 전사적 작업이라고 설명했다.

키팅은 에이전트 관리는 성능 변화나 비즈니스 요구 변화만을 기준으로 해서는 안 된다며, “동일하게, 아니 그 이상 중요한 것은 어떤 에이전트나 AI 시스템을 교체해야 할 시점을 아는 것이다. 올바른 수명 주기 관리는 기업의 비즈니스와 평판을 보호하는 동시에 지속 가능한 가치를 제공한다”라고 강조했다.

좀비 에이전트가 생겨나는 또 다른 원인은 공식적으로 종료되지 않은, 그렇지만 실패한 파일럿 프로젝트다. 크레이머는 “실패했음에도 끝나지 않는 파일럿이 있다. 예산이 조금 남아 있다는 이유만으로 계속 붙잡고 있는 경우가 많다”라고 말했다.

작동하지 않는 파일럿을 예산과 무관하게 끝낼 수 있는 장치가 필요하다. 크레이머는 “빠르게 실패하는 법을 아직도 배우지 못한 조직이 많다”라며, “프로젝트를 멈출 수 있는 단계별 게이트가 필요하다. 작동하지 않는 파일럿은 과감히 종료하고, 시작하기 전에 무엇을 하려는지 훨씬 더 엄격하게 정의해야 한다”라고 조언했다.

AI 에이전트를 퇴역시키는 또 다른 어려움은 ‘사고가 터진 뒤에야 움직이는’ 방식이다. 눈에 띄는 문제가 발생하고, 특히 외부에 알려졌을 때만 에이전트를 퇴역시킨다면, 레이더 아래에서 계속 작동하는 다른 에이전트가 생겨날 수 있다.

에이전틱 AI 전문업체 디사이더(Decidr) 디렉터 데이비드 브루데넬은 “AI 프로젝트는 갑자기 폭발적으로 실패하지는 않지만, 조용히 성능이 떨어진다”라고 말했다. 브루데넬은 기업이 에이전트를 재학습하거나 퇴역시켜야 할 기준을 사전에 정해둘 것을 권고했다. 예를 들어 성능이 기업이 허용하는 오류 허용치 아래로 떨어졌을 때 같은 기준이 될 수 있다.

브루데넬은 “모든 AI 프로젝트에는 반감기가 있다”라며, “뛰어난 팀은 다른 자산 감사와 마찬가지로 분기마다 정기 점검을 수행한다”라고 지적했다. 또, “데이터·엔지니어링 팀은 지원 역할을 하고, 성능이 떨어졌다고 판단해 종료 여부를 결정하는 주체는 비즈니스 조직이어야 한다”라고 덧붙였다.

가장 큰 문제는 AI를 일회성 설치 솔루션으로 취급하는 태도이다. 브루데넬은 “많은 기업이 모델을 한번 배포한 뒤 알아서 굴러갈 것이라고 가정하고 다음 과제로 넘어간다. AI 시스템도 오래된 코드처럼 조직의 기술 부채를 축적한다”라고 지적했다.

익스피리언은 인벤토리 관점과 수명 주기 관리 관점에서 AI 에이전트를 함께 바라보며, 에이전트가 통제 범위를 벗어나 무한 증식하지 않도록 경계하고 있다. 로드리게스는 “API와 마이크로서비스에서 똑같은 경험을 했고, 지금은 훨씬 나은 거버넌스를 적용하고 있다. AI 에이전트를 마구 양산하고 싶지 않다”라고 말했다.

익스피리언은 AI 에이전트에 대한 가시성을 확보하고 활용 현황을 추적하기 위해 AI 에이전트 마켓플레이스를 구축했다. 로드리게스는 “이 마켓플레이스를 통해 어떤 에이전트가 있는지, 어떻게 쓰이는지, 더 이상 사용하지 않는 에이전트를 어떻게 퇴역시킬지 등 필요한 정보를 모두 확인할 수 있다”라고 설명했다.

AI 에이전트 수명 주기 관리는 애플리케이션 수명 주기 관리 프로세스에서 자연스럽게 확장된 개념이다. 로드리게스는 “AI 에이전트도 결국 하나의 애플리케이션”이라며, “익스피리언의 모든 애플리케이션에는 책임자가 있고, 기술 포트폴리오의 일부로 관리된다. 노후화된 자산은 모두 퇴역시키고, 수명 주기에 대한 정기 점검을 정책으로 운영하고 있다”라고 밝혔다.
dl-ciokorea@foundryco.com