무시했다간 큰코다친다···전문가가 꼽은 AI 거버넌스 필수 점검 사항

AI 에이전트의 의사결정 과정을 제대로 파악하지 못한 채 서둘러 도입에 나서는 최고정보책임자(CIO)들은 위험한 상황을 자초하고 있다는 지적이 나온다.

AI 전문가들은 관찰성(Observability) 체계와 관련 도구 없이 에이전트를 운영하는 것은 심각한 부작용을 초래할 수 있는 시한폭탄을 안고 가는 것과 다르지 않다고 경고한다.

AI 보안 기업 가드레일 테크놀로지스(Guardrail Technologies)의 최고경영자(CEO) T.J. 말린은 많은 기업이 최소한의 인간 개입만으로 생산성을 높일 수 있을 것이라는 기대 속에 AI 에이전트를 도입하고 있다고 지적했다. 하지만 이는 잘못된 접근 방식이라는 설명이다. 대신 IT 조직은 에이전트의 활동을 지속적으로 모니터링하고, 에이전트 운영 전 과정에서 정책과 절차를 꾸준히 조정해야 한다고 강조했다.

말린은 “AI 에이전트는 한 번 설정해두고 잊어버릴 수 있는 슬로우쿠커 같은 존재가 아니다”라며 “아침에 닭고기를 넣어두고 저녁에 돌아와 훌륭한 식사가 완성되기를 기대하는 방식으로 접근해서는 안 된다. 그렇게 운영하는 조직은 결국 심각한 사고를 겪고 언론의 헤드라인에 오르게 될 것”이라고 경고했다.

말린은 많은 조직이 기술의 특성과 한계를 충분히 이해하지 못한 채, 경쟁에서 뒤처질 수 있다는 두려움 때문에 AI 에이전트 도입을 서두르고 있다고 분석했다. 일부 IT 리더는 AI 에이전트를 로보틱 프로세스 자동화(RPA)와 유사한 기술로 인식하지만, RPA는 결과가 훨씬 예측 가능하고 결정론적이라는 점에서 큰 차이가 있다고 설명했다.

그는 “인재도 부족하고 전문 지식도 부족한 상황에서 많은 조직이 결과의 정확성이나 기대한 대로 작동하는지 충분히 검증하지 않은 채 빠른 속도로 구축에 나서고 있다”라며 “이는 내가 경력 동안 목격한 최악의 재난들이 발생하기 직전에 나타났던 전형적인 징후들”이라고 말했다.

에이전트 거버넌스 기업 트루파운드리(TrueFoundry)가 최근 발표한 보고서도 규제되지 않은 AI 에이전트에 대한 우려를 뒷받침한다. 200명 이상의 기업 AI 리더를 대상으로 실시한 조사에 따르면, 응답 기업의 54%는 자사 AI 에이전트가 수행하는 작업을 완전히 추적하지 못한다고 답했다. 또한 56%는 중앙집중형 에이전트 통제 체계나 거버넌스 계층을 갖추지 못한 것으로 나타났다.

물론 트루파운드리는 에이전트 거버넌스 확산에 이해관계를 가진 기업이다. 하지만 다수의 AI 전문가 역시 동일한 문제를 지적하고 있다.

보이지 않는 에이전트를 통제하는 딜레마

구글(Google)의 시니어 데이터 및 AI 전문가 마헤시 쿠마르 고얄은 거버넌스와 관찰성(Observability) 확보의 어려움이 생산적인 AI 에이전트 도입을 가로막는 주요 장애물이라고 지적했다. 특히 많은 조직이 에이전트에 대한 중앙 관리 체계조차 마련하지 않은 상태에서 도입을 확대하고 있다고 설명했다.

고얄은 “대부분의 기업은 이미 운영 환경에서 실행 중인 에이전트 목록조차 보유하고 있지 않다”라며 “보이지 않는 대상을 통제하려고 하는 상황”이라고 말했다.

또한 기존 보안 정보 및 이벤트 관리(SIEM) 시스템과 엔드포인트 탐지·대응(EDR) 도구는 비정상적인 인간 행동을 탐지하도록 설계됐을 뿐, 악의적으로 변질된 에이전트를 식별하는 데는 한계가 있다고 지적했다.

그는 “에이전트가 1만 번 연속으로 완벽하게 코드를 실행한다면, 설령 탈취된 상태라 하더라도 겉보기에는 정상적으로 보일 수 있다”라고 설명했다.

고얄은 완전 자율형 에이전트를 운영하는 것은 바람직하지 않다고 강조했다. 조직은 최소 권한 원칙에 기반한 도구 접근 권한을 설정하고, 모든 프롬프트와 도구 호출을 중재하는 정책 집행 계층을 마련해야 한다는 것이다. 또한 프롬프트, 도구 호출, 후속 작업을 하나의 감사 가능한 기록으로 연결하는 종단 간 추적 체계도 필요하다고 설명했다.

고얄은 “금융 시스템은 신뢰만으로 운영되지 않는다. 감사 가능성과 정산 체계, 그리고 안전장치를 기반으로 움직인다”라며 “AI 에이전트 역시 같은 방향으로 발전할 것”이라고 말했다. 이어 “위험도가 낮은 업무에는 자율성을 부여하고, 중요한 업무에는 인간이 개입하는 계층형 자율성이 현실적인 해법”이라고 덧붙였다.

엔비디아(NVIDIA)의 AI 소프트웨어 담당 부사장 아델 엘 할락은 AI 에이전트가 기존 소프트웨어 검증 모델 자체를 뒤흔들고 있다고 분석했다.

엘 할락은 “기존 소프트웨어에서는 품질보증(QA) 및 보안 담당자가 코드를 분석해 문제를 추적할 수 있었지만, AI 에이전트는 AI 모델의 실행 환경 안에서 스스로 의사결정을 내린다”라고 설명했다.

그는 AI 에이전트의 진실을 보여주는 핵심 정보는 코드가 아니라 실행 흐름을 기록한 추적 데이터(Trace)에 있다고 강조했다. 이러한 추적 데이터를 수집하는 것은 에이전트 거버넌스의 출발점이지만, 단순히 데이터를 모으는 것만으로는 충분하지 않다고 지적했다.

엘 할락은 “무언가를 신뢰하려면 투명성이 확보돼야 하며, 관찰성은 투명성의 기반”이라며 “하지만 단순히 관찰하는 것만으로는 부족하다. 수집한 신호를 실제 행동으로 이어질 수 있는 정보로 전환할 수 있어야 한다”라고 말했다.

그는 에이전트 거버넌스가 단순한 모니터링을 넘어 지속적인 테스트와 미세 조정까지 가능하게 해야 한다고 강조했다. 엔비디아를 비롯한 여러 기업이 자체 거버넌스 프레임워크를 구축하고 있으며, 시장에는 에이전트 관찰성과 거버넌스를 지원하는 다양한 솔루션도 등장하고 있다고 설명했다.

엘 할락은 “행동 데이터나 피드백 데이터를 수집하는 것만으로는 충분하지 않다”라며 “시스템은 사용자가 데이터를 주석 처리하거나 수정하고 보강할 수 있도록 지원해야 하며, 새로운 피드백 데이터 생성도 가능해야 한다”라고 말했다. 이어 “그렇게 축적된 데이터를 활용해 에이전트 전체의 성능을 지속적으로 개선할 수 있어야 한다”라고 강조했다.

거버넌스가 새로운 병목이 될 수 있다

클라우드 스토리지 기업 박스(Box)의 에이전트 워크플로 자동화 제품 관리 수석 디렉터 니르말 가네시는 AI 에이전트 거버넌스를 도입하는 많은 기업이 또 다른 문제에 직면하고 있다고 지적했다. 거버넌스를 잘못 설계할 경우 오히려 조직 전체의 병목 현상이 될 수 있다는 것이다.

가네시는 “기업 환경에서 AI 에이전트를 배포하는 과정에서 가장 어려운 단계가 이미 지나갔다고 생각하지 않는다”라며 “대부분의 기업은 아직 에이전트를 효과적으로 운영하는 데 익숙하지 않으며, 거버넌스와 관찰성을 갖춘 상태에서 대규모로 운영할 수 있는 수준에 도달한 기업은 더욱 적다”라고 말했다.

그는 특히 명확한 권한 모델 없이 운영되는 에이전트를 주요 위험 요소로 꼽았다.

가네시는 “에이전트가 사람보다 더 많은 정보를 볼 수 있거나 사용자보다 더 넓은 데이터 및 콘텐츠 접근 권한을 가진다면, 사고는 이미 예고된 것이나 다름없다”라고 경고했다.

반면 초기 단계의 일부 에이전트 거버넌스 모델은 확장성이 부족하다는 문제도 있다고 지적했다. 안전성을 이유로 모든 에이전트의 결과물을 사람이 일일이 승인하도록 설계하는 경우가 대표적이다.

그는 “실제로는 검토 단계나 확인 절차만 늘어난 수작업 프로세스를 다시 만드는 것에 불과하다”라며 “처리 규모가 커지면 거버넌스는 더 이상 안전망이 아니라 확장을 가로막는 병목이 된다”라고 설명했다.

가네시는 조직이 확장성과 포괄성을 모두 갖춘 관찰성 및 거버넌스 체계를 구축해야 한다고 강조했다. 에이전트의 투자수익률(ROI)은 강력한 가드레일, 명확한 권한 모델, 그리고 적절한 인간 개입 체계를 통해 실현될 수 있다는 설명이다.

그는 “성숙한 자동화 시스템이라면 모두 지속적인 관찰성이 필요하다”라며 “워크플로는 변화하고 정책도 바뀌며 의사결정 방식도 달라지고 새로운 활용 사례도 계속 등장한다”라고 말했다. 이어 “시간이 지나며 변화하는 요소에는 인간의 개입이 반드시 필요하지만, 이미 검증된 업무 흐름에는 개입을 최소화하고 예외 처리와 거버넌스 최적화에 더 집중해야 한다”라고 설명했다.

결과만 모니터링해서는 충분하지 않다

법률 서비스 AI 기업 새비렉스(SavvyLex)의 설립자이자 최고AI책임자(CAIO)인 마르셀로 로렌제티는 에이전트 거버넌스가 단순히 결과물의 품질을 평가하는 수준에 머물러서는 안 된다고 강조했다.

로렌제티는 “가장 큰 과제는 에이전트가 좋은 답변을 생성했는지가 아니다”라며 “조직이 에이전트가 어떤 데이터에 접근했는지, 어떤 지침을 따랐는지, 어떤 도구를 호출했는지, 어떤 결정을 내렸는지, 언제 사람이 개입했는지, 그리고 권한 범위를 벗어나지 않았는지를 입증할 수 있어야 한다”라고 말했다.

그는 실행 과정에 대한 완전한 가시성이 확보되지 않으면 기업은 스크린샷, 로그, 사후 설명에 의존할 수밖에 없으며, 이는 법률·규제 준수·보안 요구사항을 충족하지 못할 가능성이 있다고 지적했다.

또한 AI 에이전트는 전적으로 신뢰하기보다 지속적으로 검증해야 하며, 거버넌스 기능이 에이전트 아키텍처 자체에 내장돼야 한다고 강조했다. 이를 위해 역할 기반 접근 제어(RBAC), 정책 기반 실행, 인간 승인 기준, 데이터 및 도구 출처 추적, 변경 불가능한 활동 기록, 신뢰도 점수, 예외 처리 체계, 그리고 권한 한계에 도달했을 때의 명확한 에스컬레이션 절차 등이 포함돼야 한다고 제안했다.

로렌제티는 “관찰성은 단순히 모델이 응답했는지 여부를 보여주는 수준에 그쳐서는 안 된다”라며 “입력부터 실제 행동에 이르기까지 전체 의사결정 경로를 보여줘야 한다”라고 말했다.

그는 AI 에이전트의 등장으로 필요한 거버넌스 모델 자체가 달라졌다고 분석했다.

로렌제티는 “핵심 문제는 많은 기업이 질문에 답하는 AI에서 실제 행동을 수행하는 AI로 이동하고 있다는 점”이라며 “하지만 여전히 거버넌스 모델은 자율형 워크플로가 아닌 수동적 도구를 기준으로 설계돼 있다”라고 지적했다. 이어 “이제는 AI 에이전트 시대에 맞는 새로운 거버넌스 체계가 필요하다”라고 강조했다.
dl-ciokorea@foundryco.com