‘자율성’이 초래하는 낯선 위협··· AI 에이전트가 속으면?

AI 분야의 최신 슈퍼스타가 있다면 바로 AI 에이전트다. 모든 종류의 비즈니스 프로세스를 자동화할 가능성 때문이다. IDC 보고서에 따르면, 3년 안에 글로벌 2000대 기업 중 40%가 지식 업무를 자동화하기 위해 AI 에이전트를 사용할 전망이다. 성공적으로 구현될 경우 생산성을 두 배나 늘릴 수 있다는 분석도 있다.

가트너에 따르면 2028년이면 IT 운영 도구의 60%가 AI 에이전트를 품을 전망이다. 2024년 말에는 5% 미만이었다. 이 밖에 가트너는 에이전트형 AI 분야의 총 매출이 향후 5년 이내에 6,090억 달러에 달할 것으로 관측했다.

에이전트형 AI가 인기를 끄는 데에에는 자율적으로 의사 결정을 내리고, 조치를 취할 수 있다는 특징이 있다. 오픈AI의 오퍼레이터(Operator), 딥시크, 알리바바의 Q웬(Qwen)과 같은 AI 에이전트들이 인간의 감독을 최소화한 채로 워크플로우를 최적화하는 자율성을 내세우고 있다.

문제는 AI 에이전트 또는 봇이 디지털 직원으로 자리잡고 있고 있는 가운데, 이들 또한 인간 직원과 마찬가지로, 그들은 악용되거나 속아넘어갈 수 있다는 점이다. 예를 들어, 고객 서비스 분야에서 AI 기반 봇이 소셜 엔지니어링 기법에 의해 속아서 자금을 이체하거나 민감한 데이터를 공유한 사례가 보고된 바 있다. 마찬가지로, 금융 거래나 투자를 처리하는 AI 에이전트도 적절하게 보호되지 않으면 해킹에 취약할 수 있다.

실제로 지난 11월에는 한 암호화폐 사용자가 프레이사(Freysa)라는 이름의 AI 에이전트를 속여 자신의 계좌로 5만 달러를 송금하도록 하는데 성공했다. 해당 자율 AI 에이전트는 암호화폐 상금 풀을 관리하도록 설계된 베이스 블록체인에 통합된 것이었다.

현재까지 자율 에이전트의 대규모 악의적 남용은 일부에 그지지만 앞으로가 문제다. 포레스터 리서치의 수석 애널리스트 레슬리 조셉에 따르면 프롬프트 인젝션 공격, 허위 정보, 자동화된 사기를 통한 오용 가능성을 시사하는 초기 사례들이 있다. 가트너의 아비 리탄 부사장 겸 애널리스트도 AI 에이전트 사고가 아직 기업에 비교적 새로운 주제라면서도 “잠재적 사고 사례가 다수 있다는 진단이 있다“라고 전했다.

그리고 AI 에이전트는 사이버 범죄에 이용될 수도 있다.

“곧 큰 깨달음이 있을 것이다. AI 에이전트가 얼마나 쉽게 조작되어 데이터를 유출하는 결과로 이어지는지 사람들이 알게 될 것”이라고 텔레포트의 이브 콘체보이는 말했다. 그는 이어 “AI 에이전트가 잠재적으로 위험한 데에는 독특한 이유가 있다. 이는 악성 소프트웨어와 소셜 엔지니어링 공격에 취약한 첫 소프트웨어의 사례라고 할 수 있다. 일반적인 소프트웨어만큼 결정론적이지 않다”라고 그는 말했다.

대규모 언어 모델(LLM)이나 생성형 AI(genAI) 도구와 달리, 에이전트 AI는 인간과 마찬가지로 능동적인 문제 해결과 복잡한 작업 실행에 맞춰 설계됐다. 여기서 핵심 단어는 ‘에이전트’다. 스스로 행동할 수 있는 소프트웨어라는 의미다. 즉 AI 에이전트는 마치 인간과 마찬가지로 예측하기 어려우며, 참신한 프롬프트에 의해 쉽게 조작될 수 있다. 그 때문에 데이터 소스에 대한 무제한 액세스를 허용하기에는 너무 위험하다고 콘체보이는 강조했다.

인간의 경우 권한이 미리 정의되곤 한다. 반면 소프트웨어에는 이러한 제약이 적용되지 않는 것이 일반적이었다. 이제 AI가 예측할 수 없는 행동을 할 수 있다면, IT 부문은 이에 대해 제한을 설정해야 한다. AI 에이전트에게 과도한 권한을 부여하는 것은 위험하다. 고객 데이터 도용과 같은 위험한 행동을 유도하는 프롬프트에 속아 넘어갈 수 있기 때문이다.

기업은 AI 에이전트의 행동을 적극적으로 관리하고 보호 조치를 지속적으로 업데이트해야 한다고 그는 설명을 이어갔다. 기술을 성숙 단계에 이르지 않은 것으로 간주해야 하며, 조기에 잘못 도입하면 조직이 운영 및 평판 측면에서 상당한 위험에 노출될 수 있다는 지적이다.

조셉 부사장도 이에 동의하면서 AI 에이전트를 사용하는 기업은 투명성을 우선시하고, 액세스 제어를 강화하고, 에이전트 행동을 감사하여 이상을 감지해야 한다고 말했다. 안전한 데이터 관행, 강력한 거버넌스, 빈번한 재교육, 적극적인 위협 감지가 자율적인 AI 에이전트의 위험을 줄일 수 있기 때문이다.

사용 사례와 함께 취약성도 증가

캡체미니에 따르면, 조직의 82%가 향후 3년 동안 주로 이메일 생성, 코딩, 데이터 분석과 같은 작업에 AI 에이전트를 도입할 계획이다. 딜로이트도 올해 AI 에이전트를 도입하는 기업이 향후 2년 동안 이 기술의 사용을 50%까지 늘릴 것으로 예측했다. 펜실베이니아 대학의 공학 및 컴퓨터 과학 교수인 벤자민 리 또한 에이전트형 AI가 ‘패러다임의 전환’을 가져올 것이라며, 에이전트를 통해 인간이 대규모 작업을 위임함으로써 생산성을 높일 수 있기 때문이라고 말했다.

조셉은 자율성을 바탕으로 한 인공지능 에이전트가 의도하지 않은 행동, 데이터 유출, 적대적인 프롬프트를 통한 악용과 관련된 취약성을 증폭시킨다고 설명하며, 공격 표면이 제한적인 전통적인 AI/ML 모델과 달리 에이전트는 동적으로 작동하기 때문에 감독하기가 더 어렵기 때문이라고 말했다.

그는 “정적 AI 시스템과 달리, 에이전트는 독립적으로 잘못된 정보를 전파하거나 사소한 오류를 더 광범위한 시스템적 실패로 빠르게 확대시킬 수 있다. 특히 에이전트의 상호 연결성과 동적 상호 작용은 단일 취약성 또는 실수가 여러 시스템에 도미노 효과를 유발하는 연쇄적 실패의 위험을 크게 높인다”라고 말했다.

조셉에 따르면 자율성이 증가하면 투명성, 책임성, 문제 해결에 대한 위험이 증가한다고 합니다. 에이전트가 적응함에 따라 공격 표면이 커져 연쇄적인 영향을 방지하기 위한 강력한 보호 장치가 필요하다. AI 에이전트를 속일 수 있는 몇 가지 일반적인 방법은 다음과 같다.

1. 데이터 오염: 훈련 과정에서 거짓 또는 오도하는 데이터를 도입하여 AI 모델을 조작할 수 있다. 이로 인해 에이전트의 의사 결정 과정에 영향을 미칠 수 있으며, 잠재적으로 악의적이거나 잘못된 행동을 유발할 수 있다.
2. 적대적 공격: 이 공격은 AI 에이전트를 속이거나 혼란스럽게 하도록 설계된 신중하게 만들어진 입력 정보를 제공하는 것을 포함한다. 경우에 따라 적대적 공격으로 인해 AI 모델이 데이터를 잘못 해석하여 유해한 결정을 내릴 수 있다.
3. 소셜 엔지니어링: 사기꾼이 AI 에이전트와 인간의 상호 작용을 이용하여 개인 정보나 돈을 빼낼 수 있다. 예를 들어, AI 에이전트가 고객과 상호 작용하는 경우, 사기꾼은 이를 조작하여 사용자를 속이는 방식으로 행동할 수 있다.
4. 보안 취약성: AI 에이전트가 더 큰 시스템이나 인터넷에 연결되어 있는 경우, 보안 결함을 통해 해킹으로 확대될 수 있으며, 이로 인해 악의적인 행위자가 에이전트를 제어할 수 있게 된다. 이는 금융 서비스, 자율주행 차량, 개인 비서와 같은 응용 프로그램에서 특히 문제가 될 수 있다.

그러나 에이전트형 AI의 자율성은 잘 설계되고 관리된다면 위협을 식별하고 대응할 수 있는 적응형 보안을 가능하게 할 수도 있다. 가트너의 리탄은 “가디언 에이전트”라고 불리는 새로운 솔루션이 도메인 전반에 걸쳐 다른 AI 에이전트를 감독할 수 있는 자율 시스템이라고 설명했다. 이 시스템은 에이전트의 행동을 모니터링, 분석, 관리함으로써 안전하고 신뢰할 수 있는 AI를 보장한다. 여기에는 에이전트의 행동을 차단하거나 미리 정의된 목표를 달성하도록 방향을 전환하는 것도 포함된다.

비즈니스 컨설팅 회사 EA 프린시플에 따르면, AI 가디언 에이전트는 AI 애플리케이션을 관리하고, 정책을 시행하고, 이상을 감지하고, 위험을 관리하고, 조직의 IT 인프라 내에서 규정 준수를 보장해주는 도구다.

이렇듯 가디언 에이전트가 에이전트 감독의 한 방법으로 부상하고 있지만 포레스터의 조셉에 따르면 AI 에이전트는 위험을 줄이기 위해 강력한 감독, 가드레일, 지속적인 모니터링을 필요로 한다. 조셉은 자율 에이전트를 사용하는 기업은 운영 및 평판 위험을 피하기 위해 적극적으로 보호 기능을 관리하고 업데이트해야 한다고 말했다. 그는 “에이전트 기반 AI가 무법천지 서부 시대와 같다는 점을 기억하는 것이 중요하다. 에이전트는 아직 완전히 완성된 상태가 아니며, 조직이 안전하게 수동적 접근 방식을 채택하기 전에 상당한 성숙이 필요하다”라고 말했다.
[email protected]