에이전틱 AI ‘리스크’가 온다··· 통제 방법과 안전장치 바로 알기

스냅로직과 3GEM이 지난 2월 실시한 설문조사에 따르면, IT 의사결정자와 혁신 리더 1,000명중 절반은 대기업에서 이미 AI 에이전트를 사용하고 있으며, 32%는 올해 안에 도입할 계획이라고 답했다. 또한 응답자의 92%는 AI 에이전트가 앞으로 12~18개월 내에 의미 있는 비즈니스 성과를 가져올 것으로 예상했다. 44%는 AI 에이전트가 사람과 같은 수준의 업무를 수행할 수 있다고 봤고, 40%는 오히려 AI를 더 신뢰한다고 응답했다.

이처럼 많은 기업이 신뢰할 조짐을 보이고 있지만, AI 에이전트의 정의는 다양한 상황이다. 일부 기업은 챗봇에 그럴싸한 이름을 붙이고 에이전트로 재포장하고 있다. 전문가들은 AI 에이전트가 단순히 질문에 답하는 것 이상의 일을 해야 한다고 언급했다. 예를 들어 AI 에이전트는 사용자를 대신해 행동하고, 자율적으로 작동하거나, 다른 에이전트 또는 시스템과 소통할 수 있어야 한다.

AI 에이전트에서 한 단계 더 나아가면 ‘에이전틱 AI’가 있다. 에이전틱 AI 시스템에는 에이전트를 만들고 배포 및 관리할 수 있는 기업용 플랫폼과 에이전트들이 내외부 시스템과 상호작용하는 플랫폼이 제공된다.

하나의 업무 처리 과정에는 다양한 단계와 여러 에이전트가 필요하다. 또한 수많은 데이터 소스를 활용해야 할 수 있다. 각 에이전트는 서로 다른 LLM, 맞춤 조정된 모델, 또는 특수 소형 언어 모델로 작동할 수 있다. 워크플로우는 반복적일 수 있으며, 에이전트가 정확성이나 완성도에 대한 특정 기준을 충족할 때까지 단계를 되풀이할 수도 있다.

가트너는 에이전틱 AI를 올해 주요 전략적 트렌드로 보면서, 2029년까지 일반 고객 서비스 문제의 80%가 사람 개입 없이 자동으로 해결될 것이라고 예측했다.

가트너의 VP 애널리스트 시드 나그는 “공급망 관리 간소화와 실시간 맞춤형 지원 제공 같은 사용례가 등장하고 있다”라고 설명했다. 그는 에이전틱 AI가 더 직관적인 소통을 가능하게 한다면서, “확실히 기업들의 관심을 끌고 있다”라고 진단했다.

개별 에이전트를 구동하는 모델이 더 스마트해지며 에이전틱 AI 시스템의 사용례는 더 확장되는 추세다. 그러나 동시에 이런 시스템이 가져오는 리스크도 기하급수적으로 커지고 있다.

컨설팅 회사 프레시디오의 SVP인 크리스 코센티노는 “기업들이 에이전트가 결정을 내리는 방식에 대한 가시성과 통제력이 부족하고, 이들을 모니터링하는 것이 아직 업계 표준이 되지 않았다는 점을 발견하고 있다”라며, “에이전트가 환경에 들어오면 새로운 리스크가 생긴다. 에이전트가 사용자를 대신해 결정을 내리는데, 때로는 그 결정이 원래 의도했던 모델에서 벗어나기도 한다”라고 설명했다. 실제로 최신 언어 모델에 대한 최근 연구와 레드팀 보고서는 이 모델들이 속임수와 조작이 가능하며, 모순된 지시나 잘못된 데이터를 받으면 쉽게 통제를 벗어날 수 있다고 지적했다.

모든 기업 데이터베이스와 기능에 접근할 수 있는 에이전틱 AI 시스템이 갑자기 통제를 벗어나거나 해커의 손에 넘어간다면 큰 문제가 될 수 있다.

전문가들은 해결책으로 에이전트가 할 수 있는 일과 접근할 수 있는 데이터의 범위를 신중하게 제한하고, 안전장치를 설치한 다음, 에이전트가 말하고 행동하는 모든 것을 꼼꼼히 모니터링해야 한다고 조언했다.

에이전트 통제하기

전 세계 누구나 청원을 시작할 수 있게 해주는 비영리 웹사이트 체인지닷오알지(Change.org)는 현재까지 5억 명 이상이 이용했으며, 매월 7만 개의 청원이 생성되고 있다. 하지만 모든 청원이 다 가치 있는 것은 아니다. 스팸, 사기, 불법 콘텐츠도 있다.

이런 문제를 해결하기 위해 회사는 지금까지 월 5,000달러로 외부 업체 서비스를 이용해 왔다. 그러나 시스템은 정책 위반 사항의 절반만 탐지했고, 검토용으로 표시한 위반 사항 중 절반은 오탐이었다.

챗GPT가 등장한 뒤, 체인지닷오알지는 기본 챗GPT가 수년간 개발한 도구와 같은 수준으로 문제 콘텐츠를 잡아낸다는 사실을 발견했다. 이에 AI 역량을 실험하기 시작했다. 결국 컨설팅 기업 프랙셔널AI(Fractional AI)의 도움을 받아 오픈AI의 GPT 4.0과 미세 조정된 GPT 3.5로 개별 에이전트를 구동하는 다단계 에이전트 워크플로우를 개발했다.

체인지닷오알지의 AI 도입 및 자동화 책임자인 대니 몰도반은 여러 번 LLM을 호출하더라도 중재 비용이 이전보다 훨씬 적게 든다면서 “우리는 더 높은 정확도로 더 많은 일을 처리하면서도 비용을 크게 줄였다”라고 말했다. 결과적으로 랭체인을 사용해 에이전트들을 연결하고 랭스미스로 관찰 가능성을 확보하는 복잡한 의사결정 트리 시스템을 구축했다.

몰도반은 “에이전트가 의사결정 트리에서 어디로 보낼지 스스로 선택할 수 있다”라고 설명했다. 그는 때때로 체인의 마지막 에이전트가 추가 검토를 위해 다시 트리 위로 보낼 수도 있다면서, “이렇게 하면 사람이 신호와 해석을 훨씬 더 관리하기 쉽게 해준다”라고 덧붙였다.

시스템이 통제를 벗어나지 않도록 여러 안전장치도 마련했다. 우선, 오픈AI 자체에 중재 API를 비롯한 여러 제어 장치가 있다. 또한 시스템이 받을 수 있는 정보와 할 수 있는 일을 극도로 제한했다. 마지막으로, 모든 결정은 사람이 최종 검토하도록 했다.

몰도반은 “우리는 한계를 시험하는 사람이 아니라 위험 관리자다. 시스템을 통해 사람의 검토가 필요한 콘텐츠를 제대로 찾아내고, 모든 최종 중재 결정은 사람이 내린다. 우리 플랫폼 같은 곳에서 콘텐츠 중재는 아직 로봇에게 맡기기엔 너무 미묘한 판단이 필요하다고 생각한다”라고 말했다.

또한 시스템이 의도한 대로 작동하는지 확인하기 위해 감사 과정도 필요하다.

몰도반은 “다른 패턴이 나타날 때마다 기록을 살펴보고 무슨 일이 일어나는지 확인한다. 에이전트 과정의 각 단계를 기록하고, 에이전트는 결정에 대한 요약을 제공한다. 이는 감사를 위한 영수증의 역할을 한다. 실제로 AI가 판단 이유를 설명할 때 정확도가 더 높아진다. AI가 의도를 더 많이 설명할수록 결과가 더 좋았다”라고 말했다.

한때는 시스템이 동물 학대에 반대하는 청원임에도 불구하고 동물 학대 콘텐츠로 분류한 경우도 있었다. 그는 “몇 가지 수정 프레임을 도입하자 시스템이 다시 정상 궤도로 돌아왔다”라고 말했다.

에이전틱 AI 중재 시스템은 2024년 하반기에 출시됐으며, 이제 체인지닷오알지는 같은 접근법을 다른 업무에도 적용하고 있다. 예를 들어, 에이전틱 AI로 추가 마케팅이 필요한 긍정적인 콘텐츠를 찾고, 이를 관심 있게 볼 만한 기자들을 찾아낼 수 있다.

안전장치 없이는 에이전틱 AI도 없다

프린시펄 파이낸셜 그룹은 글로벌 투자 및 보험 회사로, 수년간 다양한 형태의 AI를 사용해 왔다. 하지만 새로운 생성형 AI와 그 위에 구축된 에이전틱 AI 시스템은 마치 블랙박스와 같아서, 시스템이 어떻게 작동하는지, 어떤 과정을 통해 결정을 내리는지 이해하기 어려웠다.

CIO인 캐시 케이는 “전통적인 AI 모델에서는 어떻게 결론에 도달했는지 쉽게 알 수 있었다. 오랫동안 사용해 왔기 때문에 꽤 안정적이었다”라고 말했다.

또한 전체 시스템에서 무슨 일이 일어나는지 파악하기 위해 상호작용과 문제를 기록하는 것도 과제였다. 케이는 “모델 성능뿐 아니라 그에 따른 리스크도 평가하고 싶었다. 하지만 모든 것을 모니터링할 수 있는 도구는 아직 초기 단계에 있다”라고 설명했다.

프린시펄은 에이전틱 AI 도입 단계에 있다. 케이는 “여러 모델을 실제 환경에서 운영 중이지만, 관찰 가능성(observability), 설명 가능성, 그리고 모델이 어떻게 결론에 도달하는지 이해하는 것이 큰 과제”라고 언급했다.

한 가지 사용례는 소프트웨어 개발로, 현재 1,200명에 가까운 엔지니어가 지난 2월 에이전트 모드를 출시한 깃허브 코파일럿을 사용하고 있다. 이 도구는 이제 처음부터 앱을 만들고, 여러 파일에 걸쳐 코드를 재구성하고, 테스트를 작성 및 실행하고, 오래된 코드를 새로운 환경으로 옮긴다.

케이는 “하지만 우리는 코드를 무작정 배포하지 않는다. 지금은 항상 중간에 사람이 있다. 그것이 모든 일의 안전장치 중 하나다”라고 말했다.

에이전트는 또한 문서 요약과 다른 저위험 영역에도 사용되고 있다. 그는 에이전트가 모든 규제 및 준수 요구사항을 충족하도록 안전장치를 마련했다면서, 특히 접근할 수 있는 데이터와 에이전트가 할 수 있는 일에 제한이 있다고 언급했다. 프린시펄 파이낸셜은 AI 플랫폼의 일부로 안전장치를 제공하는 AWS를 활용하고 있다.

그는 “또한 모든 모델과의 상호작용과 답변을 기록해서 분석하고, 모델에 어떤 편향이 생기거나 예상치 못한 일이 발생하는지 확인한다”라고 언급했다. 전반적으로 프린시펄 파이낸셜은 에이전틱 AI 사용에 긍정적인 입장이다.

케이는 “에이전틱 AI가 해결책이 될 수 있는 다양한 사용례를 찾았다. 하지만 우리는 리스크 기반 접근법을 취한다. 사람의 개입 없이 이런 에이전트나 LLM을 직접 고객에게 제공하지 않을 것이다. 그렇지 않으면 현재로선 너무 위험하다”라고 진단했다.

AI를 모니터링하는 AI?

IEEE 회원이자 터프츠 대학교 대학원 공학부 학장인 카렌 파네타는 AI를 모니터링하기 위해 또 다른 AI가 필요할 수 있다고 말했다. 그는 “로깅에 대해 이야기할 때, 기록되는 내용을 그 위에 다른 에이전트가 보고 요약하려고 할 것이다. 마치 다양한 정보를 모으는 지휘자 같은 역할이 있을 수 있다”라고 언급했다.

이는 특히 상호작용과 프롬프트에 들어가는 대량의 데이터가 있는 복잡한 시스템에서 중요할 수 있다. 파네타는 “무엇을 기록하고자 하는가? 만약 내부적으로 모든 것을 기록한다면? 그 양은 엄청날 것”이라고 말했다.

사이버보안 회사 이센티어의 선임 ML 과학자인 제프 슈워츠엔트루버도 에이전틱 AI가 호출되는 프롬프트와 응답의 수를 폭발적으로 증가시킨다는 데 동의했다. 그는 “에이전틱 AI는 기능을 호출하고 데이터를 가져오며, 자체적으로 대화를 나눈다. 들어오고 나가는 프롬프트를 추적하기 어렵고 클라이언트에서 모든 상호작용을 볼 수도 없다”라고 설명했다.

이는 기업이 에이전트 시스템의 일부로 외부 업체를 이용할 때 특히 과제가 될 수 있다. 슈워츠엔트루버는 “예를 들어, 외부 서비스 벤더가 보고서를 만들어주고 회사가 그들에게 문서를 보낸다고 가정해 보자. 일단 그 정보가 벤더의 시스템에 들어가면, 그들이 어떤 기능 호출을 하는지 전혀 알 수 없다. 관찰 가능성 측면에서 매우 큰 문제다”라고 지적했다.

하지만 부정적인 소식만 있는 것은 아니다. EY의 디지털 및 신기술 책임자인 라케시 말호트라는 “과제가 어려워질수록 사용할 수 있는 도구도 더 강력해진다. 에이전트 시스템이 제공하는 관찰 가능성의 기회는 신뢰성을 높일 기회이기도 하다. 그 기회는 시스템이 통제를 벗어날 리스크보다 훨씬 크다”라고 언급했다.

마이크로소프트에서 10년 동안 모니터링 도구를 개발했던 말호트라는 미리 계획하는 것이 핵심이라고 언급했다. 그는 “직접 에이전트를 만들 때는 처음부터 관찰 가능성을 고려해 설계한다. 무언가를 만들고 나서 나중에 모니터링하고 관리해야겠다고 결정하면, 항상 기술 부채를 갚아야 한다. 이는 해결하기 매우 어려운 일이다”라고 설명했다.
[email protected]