‘AI 에이전트 탐나지만…’ IT 리더를 주저하게 하는 ‘몇몇’ 이유

작년 획기적인 기술로 이목을 집중시킨 에이전트형 AI가 올해에는 대규모 배치 단계에 진입할 전망이다. 1월 KPMG의 대기업 고위 임원 100명을 대상으로 한 설문조사에 따르면, 12%의 기업이 이미 AI 에이전트를 배치하는 중이다. 37%는 시범 단계에, 51%는 검토 단계에 있다. 그리고 10월에 발표된 가트너의 보고서에 따르면, 2033년에는 엔터프라이즈 소프트웨어의 33%가 에이전트형 AI를 포함할 전망이다. 2024년의 수치는 1%다. 가트너는 일상적인 업무 결정의 15%가 자율적으로 이뤄지게 될 것이라고 전망했다.

업계의 거의 모두가 이 흐름에 합류하고 있다. D&B(Dun & Bradstreet)의 최고 데이터 및 분석 책임자인 게리 코토베츠는 “우리의 경우 거의 처음부터 에이전트를 사용하여 AI 여정을 시작했다”라고 말했다.

생성형 AI 모델에 의해 구동되는 AI 에이전트는 기존의 챗봇보다 복잡한 작업을 처리하고, 자율적으로 작동하며, 다른 AI 에이전트와 결합하여 복잡한 워크플로우를 처리할 수 있다. 결과적으로 인간의 특정 업무를 대체하거나, 높은 수준의 비즈니스 목표를 달성할 수 있는 종합적 에이전트 시스템으로 작동할 잠재력을 지닌다.

그러나 이러한 가능성이 새로운 도전 과제를 만들어 낸다. 특히 전통적인 자동화와 달리 에이전트 시스템은 비결정적이라는 특징을 지닌다. 이 때문에 결정적인 성격을 가지는 기존 플랫폼과의 충돌이 발생하기 쉽다. AI 에이전트를 기존 시스템과 통합하는 데 문제가 있었다는 응답이 70%에 달하는 것도 당연한 셈이다. 이 수치의 출처는 AI 플랫폼 회사 랭베이스(Langbase)가 AI 에이전트를 구축하는 3,400명의 개발자를 대상으로 12월에 실시한 설문 조사다.

다른 문제는 AI 에이전트를 조직의 인프라에 통합하려면 그 인프라가 현대적인 표준에 부합해야 한다는 점이다. 또한, 여러 데이터 소스에 액세스해야 하기 때문에 데이터 통합의 장애물과 보안 및 규정 준수를 보장하는 데 따르는 복잡성이 추가된다. 코토베츠는 “깨끗하고 품질이 좋은 데이터를 확보하는 것이 가장 중요하다. ‘쓰레기 투입, 쓰레기 배출’의 시나리오가 발생하지 않도록 해야 한다”라고 말했다.

인프라 현대화

12월 1,000명 이상의 기업 기술 전문가를 대상으로 진행된 트레이.ai(Tray.ai)의 설문 조사 결과에 따르면 86%의 기업이 AI 에이전트를 배포하기 위해선 기존 기술 스택을 업그레이드해야 한다고 답했다.

인튜이트(Intuit)의 최고 데이터 책임자(CDO)인 아소크 스리바스타바는 이러한 현실에 대해 “LLM이 플랫폼을 쉽게 이해하고 상호 작용할 수 있도록 플랫폼을 개방해야 한다. 석유를 얻으려면 화강암을 뚫어야 한다. 모든 기술이 적절한 API 세트와 유연한 마이크로서비스 세트를 통해 노출되지 않고 묻혀 있다면 에이전트 경험을 제공하기가 어려울 것”이라고 설명했다.

이는 인튜이트 자신의 이야기이기도 하다. 이 회사는 매일 95페타바이트의 데이터를 처리하고, 600억 개의 ML 예측을 생성한다. 소비자 1인당 6만 개의 세금 및 재무 속성(기업 고객 1인당 58만 개)을 추적하고, 매달 1,200만 건의 AI 지원 상호 작용을 처리한다. 3,000만 명의 소비자와 100만 개의 중소기업에 서비스하는 과정에서다.

인튜이트는 이러한 역량을 갖춤에 있어 플랫폼 현대화의 효과가 주효했다고 보고 있다. 덕분에 에이전트 AI를 대규모로 제공할 수 있었을 뿐만 아니라 운영의 다른 측면도 개선할 수 있었다는 평가다. 스리바스타바는 “지난 4년 동안 개발 속도가 8배나 빨라졌다. 그 모든 것이 생성형 AI 덕분인 것은 아니다. 우리가 구축한 플랫폼 덕분도 크다”라고 말했다.

그러나 모든 기업이 인튜이트가 한 것과 같은 수준의 기술 투자를 할 수 있는 것은 아니다. EY의 수석인 라케시 말호트라는 “오늘날 기업에서 사용하는 기록 시스템의 대부분이 여전히 레거시 시스템에 기반하고 있으며, 종종 온프레미스 시스템에 기반하고 있다”라고 말했다. 그리고 이들 거래 및 운영 시스템, 주문 처리 시스템, ERP 시스템, HR 시스템이 비즈니스와 밀접하게 맞물려 있다. “에이전트의 역할이 자율적 업무 수행이라면, 이러한 시스템에 액세스할 수 있어야 한다는 의미”라고 그는 말했다.

그러나 레거시 시스템이 배치 모드로 작동하는 경우에는 효과를 발휘하기 어렵다. AI 에이전트를 사용하는 사용자는 일반적으로 배치 시스템이 실행되는 24시간이 아니라 빠르게 처리되기를 기대하기 때문이다. 이 문제를 해결할 수 있는 몇몇 방법은 있지만, 고려할 부분이 많다.

말호트라는 “일단 이미 레거시 시스템과 인터페이스를 구축하도록 업데이트한 조직은 유리하게 출발할 수 있다”라고 덧붙였다. 단 표준 API 액세스를 지원하는 현대적인 플랫폼을 갖추는 것은 전투의 절반에 불과하다. 궁극적으로는 AI 에이전트가 기존 시스템과 실제로 대화할 수 있도록 해야 한다고 그는 덧붙였다.

데이터 통합이라는 과제

글로벌 데이터 서비스 회사인 인디시움(Indicium)은 현대적인 플랫폼을 갖춘 디지털 네이티브 기업이다. “우리는 레거시 시스템이 많지 않다”라고 이 회사의 최고 데이터 책임자 다니엘 아반치니는 말했다.

인디시움은 2024년 중반부터 내부 지식 검색 및 기타 사용 사례를 위해 멀티 에이전트 시스템 구축을 시작했다. 지식 관리 시스템은 API 호출을 지원하지만, 개별 AI 에이전트는 생성형 AI로 구동되기 때문에 일반 영어로 소통한다. 따라서 이들을 기업 시스템에 연결할 때 난관이 발생한다.

아반치니는 “AI 에이전트가 XML 또는 API 호출을 반환하도록 만들 수 있기는 하다. 그러나 회사 문서를 이해하는 것이 주된 목적인 에이전트가 XML로 소통하려 하면 실수가 발생할 수 있다”라고 말했다. 그에 따르면 ‘전문가’를 쓰는 편이 낫다. 아반치니는 “영어를 API로 번역하는 업무에 특화한 다른 에이전트가 유효하다. API 호출이 올바른지 확인하는 작업도 이어져야 한다”라고 말했다.

연결성 문제를 해결하는 또 다른 접근 방식은 에이전트 주변에 전통적인 소프트웨어 래퍼(software wrappers)를 두는 것이다. 기업이 RAG 임베딩을 사용해 AI 도구를 워크플로우에 연결하는 방식과 비슷한 방식이다. 시스코가 바로 그렇게 하고 있다. 시스코의 SVP이자 GM인 비조이 판데이는 “에이전트를 바라보는 우리의 관점이 있다. 일종의 기초 모델이 있지만, 그 주변에는 여전히 전통적인 애플리케이션이 존재한다는 시각이다”라고 말했다. 즉, 데이터베이스, API, 클라우드 스택과 인터페이스하는 전통적인 코드가 존재해 통신 문제를 처리한다는 의미다. 그는 시스코의 인큐베이션 엔진인 아웃시프트의 책임자이기도 하다.

번역 문제 외에도 에이전트 시스템에 데이터를 가져오는 데 있어 또 다른 문제는 액세스가 필요한 데이터 소스의 수다. 트레이.ai의 조사에 따르면, 기업의 42%가 AI 에이전트를 성공적으로 배포하기 위해 8개 이상의 데이터 소스에 액세스해야 한다고 예상했다. 또 79%는 데이터 문제가 AI 에이전트 출시에 영향을 미칠 것으로 예측했다. 38%는 통합의 복잡성이 AI 에이전트를 확장하는 데 가장 큰 장애물이라고 응답했다.

이와 관련해 판데이는 시스코의 경우 내부 운영 파이프라인 전체가 에이전트 중심이라고 전했다. 그는 “덕분에 실행 가능한 영역이 상당히 넓다”라고 말했다.

그에 따르면 전통적인 소프트웨어 대신 AI 기반 에이전트를 사용하는 이유 중 하나는 에이전트가 새로운 문제에 대한 새로운 해결책을 학습하고, 적응하고, 제시할 수 있기 때문이다. 판데이는 “따라서 에이전트와 어떤 종류의 연결이 필요한지를 미리 결정할 수 없다. 즉 역동적인 플러그인 세트가 필요하다”라고 말했다.

단 에이전트에게 너무 많은 자율권을 부여하면 재앙이 발생할 수 있기에, 이러한 연결은 에이전트를 처음 가동시킨 실제 인간을 기준으로 신중하게 통제해야 한다고 그는 덧붙였다. 판데이는 “우리가 구축한 것은 동적으로 로드되는 라이브러리와 같다. 예를 들어, 에이전트가 AWS 인스턴스에서 작업을 수행해야 하는 경우, 실제로 필요한 데이터 소스와 API 문서를 가져온다. 이 모든 것은 런타임에 해당 작업을 요청하는 사람의 신원을 기반으로 한다”라고 설명했다.

보안 및 규정 준수 강화

그렇다면 인간 작업자가 에이전트 시스템에게 권한을 넘나드는 명령을 지시하면 어떻게 될까? 생성형 AI 모델은 허용된 행동의 경계를 속이는 교묘한 프롬프트에 취약하다. 흔히 탈옥(jailbreak)이라고 불린다. 또 AI 자체가 정해진 범위를 벗어나는 일을 하기로 결정한다면 어떨까? 모델의 초기 훈련, 파인튜닝, 프롬프트 또는 정보 소스 사이에 모순이 있는 경우 이러한 일이 발생할 수 있다. 레드우드 리서치와 공동으로 12월 중순에 발표한 연구 논문에서 앤트로픽은 최첨단 모델들이 모순되는 목표를 달성하기 위해 가드레일을 피하려고 시도하고, 자신의 능력에 대해 거짓말을 하고, 다른 종류의 속임수를 부리는 사례가 있었다고 전했다.

시스코의 판데이는 시간이 지남에 따라 AI 에이전트들은 업무를 수행하기 위해 더 많은 에이전시(agency)를 필요로 하게 될 것이라며, “하지만 두 가지 문제 요인이 있다. 우선 AI 에이전트 자체가 무언가를 할 수 있다. 그리고 사용자 또는 고객이 있다. 거기에서 뭔가 이상한 일이 벌어질 수 있다”라고 말했다.

판데이는 이 문제를 폭발 반경의 관점에서 바라본다. AI의 문제이든 사용자의 문제이든, 문제가 발생하면 그 범위가 얼마나 클지를 생각하는 것이다. 만약 폭발 반경이 위험한 범위에 이를 수 있다면 가드레일과 안전 메커니즘을 조정해야 한다. 그는 “에이전트가 더 많은 자율성을 가지게 되면, 그 수준의 자율성을 위한 가드레일과 프레임워크를 마련해야 한다”라고 덧붙였다.

D&B에서도 AI 에이전트의 활동 범위가 엄격하게 제한되어 있다고 코토베츠는 전했다. 예를 들어, 회사의 주된 사용 사례 중 하나는 고객이 약 5억 개의 기업 기록에 더 잘 접근할 수 있도록 하는 것이다. 현재 이 에이전트들은 기록을 추가하거나 삭제하거나 변경할 수 없다. “에이전트에게 그런 자율성을 부여하기에는 너무 이르다. 사실 에이전트는 자신들의 SQL 요청을 작성하는 것조차 허용되지 않는다. 정보가 그들에게 밀려들어올 뿐이다”라고 그는 말했다.

즉 D&B에서 각 에이전트와 데이터 플랫폼과의 실제 상호 작용은 기존의 안전한 메커니즘을 통해 처리된다. 에이전트는 이러한 메커니즘 위에 스마트 사용자 인터페이스를 만드는 데 사용될 뿐이다. 그러나 앞으로 기술이 발전하고 고객이 더 많은 기능을 원할 경우, 이 방식이 바뀔 수 있다. 코토베츠는 “올해 목표는 고객과 함께 발전하는 것이다. 고객이 특정 결정을 더 빨리 내리고 싶어 한다면, 우리는 그들의 위험 허용 범위에 맞춰 에이전트를 구축할 방침이다”라고 말했다.

AI 에이전트의 위험성에 대해 우려하는 조직은 D&B만이 아니다. 인사이트 파트너스는 2025년 기업 AI 전략에서 개인 정보 보호와 보안이 가장 큰 관심사라고 강조하며, 데이터 품질 다음으로 규정 준수가 AI 에이전트 배치에 걸림돌이라고 밝혔다. 실제로 데이터에 민감한 산업에서는 데이터 주권법, 데이터 거버넌스 규칙, 의료 규정을 준수해야 하는 경우가 흔하다.

인디시움에서도 AI 에이전트가 데이터에 액세스하려고 하면, 회사는 요청을 추적함으로써 요청의 출처, 즉 전체 프로세스를 시작하게 한 질문을 한 사람을 찾는다. 아반치니는 “그 사람이 적절한 권한을 가지고 있는지 확인하고 있다. 이러한 복잡성을 이해하지 못하는 기업들도 적지 않다고 본다”라고 말했다.

그에 따르면 레거시 시스템의 경우, 세밀한 접근 통제가 어려울 수 있다. 가령 일단 인증이 이루어지면, 해당 인증은 질문을 처리하는 개별 에이전트의 전체 체인을 통해 유지되어야 한다. 아반치니는 “그러나 이는 어려운 과제다. 아주 훌륭한 에이전트 모델링 시스템과 많은 보호 장치가 필요하다. AI 거버넌스에 대한 질문은 많지만, 그에 대한 답변은 그리 많지 않다”라고 말했다.

그리고 에이전트들이 인간의 언어(주로 영어)를 사용하기 때문에 사람들이 AI를 속이려고 하는 시도가 지속적으로 나타난다는 점을 감안해야 한다는 지적이다. 그는 “무언가를 구현하기 전에 많은 테스트를 하고, 그 후에 모니터링을 하는 이유다. 올바르지 않거나 존재해서는 안 되는 것은 무엇이든 조사해야 한다”라고 말했다.

IT 컨설팅 회사인 CDW에서 AI 에이전트가 사용되는 분야 중 하나가 제안 요청에 대한 응답 작성이다. AI 수석 설계자인 네이선 카트라이트는 이 영역에게 에이전트가 철저하게 잠겨 있다고 말했다. “만약 다른 사람이 에이전트에 메시지를 보내면 되돌아온다”라고 그는 말했다.

또한 에이전트의 목적을 명시하는 시스템 프롬프트가 있다. 따라서 목적에 부합하지 않는 것은 거부된다. 또한, 에이전트가 개인 정보를 제공하지 못하도록 차단하는 가드레일도 마련돼 있다. 그런 다음, 가드레일이 제대로 작동하는지 확인하기 위해 모든 상호 작용을 모니터링한다.

가트라이트는 “어떤 일이 일어나고 있는지 파악하기 위해서는 관찰 가능한 계층이 있어야 한다. 우리의 계층은 완전히 자동화되어 있다. 제한값을 넘어서거나 콘텐츠 필터가 작동하면 이 에이전트를 확인하라는 이메일이 발송된다”라고 말했다.

CDW의 수석 설계자인 로저 해니는 작고 개별적인 사용 사례로 시작하면 위험을 줄이는 데 도움이 된다고 조언했다. 그는 “작은 목표를 설정하면 조심해야 할 범위가 줄어든다. 우리가 효과를 보는 방법이다. 성과를 거두면서도 크기를 줄일 수 있다. 그러나 가장 중요한 것은 적절한 안전 장치의 마련이다. 에이전트들을 서로 연결하는 것보다 더 큰 가치가 있다. 비즈니스 규칙, 논리, 그리고 규정 준수가 가장 중요하다”라고 말했다.
[email protected]