MS, AI 에이전트 보안 강화 위한 오픈소스 도구 ‘램파트·클래리티’ 공개

마이크로소프트(MS)가 AI 에이전트 개발 초기 단계부터 안전성 검증을 적용할 수 있도록 지원하는 신규 도구 2종을 오픈소스로 공개했다.

‘램파트(Rampart)’와 ‘클래리티(Clarity)’로 명명된 이번 도구는 에이전틱 AI의 안전 엔지니어링을 실제 운영 단계까지 확장하려는 MS의 전략 일환으로, 지난주 공개됐다.

MS AI 레드팀 창립자인 람 샨카르 시바 쿠마르는 공식 블로그를 통해 “AI 안전은 더 이상 주기적인 점검이 아니라 지속적인 엔지니어링 체계로 자리잡아야 한다”라며 “이를 실현하기 위해 개발자들이 직접 활용할 수 있는 실용적이고 개방된 도구를 제공하는 것이 중요하다”라고 밝혔다.

이번 발표는 AI 에이전트가 기존 챗봇 형태를 넘어 실제 운영 권한을 갖는 시스템으로 진화하는 흐름 속에서 나왔다. MS에 따르면 이러한 차세대 에이전트는 프롬프트 인젝션, 안전하지 않은 도구 사용, 권한 상승, 의도치 않은 자율 행동 등 기존 애플리케이션 보안 체계로는 충분히 대응하기 어려운 새로운 위험을 수반한다.

현재 램파트와 클래리티는 모두 MS가 제공하는 오픈소스 프로젝트 형태로 이용할 수 있다.

램파트, 반복 가능한 AI 레드팀 테스트 지원

MS는 램파트를 두 도구 중 보다 운영 중심적인 솔루션으로 포지셔닝했다. 이 프레임워크는 레드팀 활동을 통해 도출된 결과를 반복 실행 가능한 테스트로 전환해, 개발 및 배포 파이프라인 전반에서 지속적으로 활용할 수 있도록 설계됐다.

램파트는 생성형 AI 시스템의 레드팀 자동화를 위한 MS의 오픈 프레임워크 ‘PyRIT’을 기반으로 구축됐다. 이를 통해 개발팀은 AI 에이전트를 대상으로 공격 시나리오와 정상 시나리오를 모두 구조화된 방식으로 자동 실행할 수 있다.

핵심은 일회성 안전 점검에서 벗어나, CI/CD 워크플로우에 지속적인 검증을 직접 통합하는 데 있다. 쿠마르는 “PyRIT이 시스템 구축 이후 보안 연구자의 블랙박스 탐지에 최적화돼 있다면, 램파트는 시스템을 구축하는 과정에서 엔지니어를 지원하도록 설계됐다”라고 설명했다.

램파트는 교차 프롬프트 인젝션, 안전하지 않은 데이터 처리, 취약한 도구 실행 등 다양한 에이전트 특화 공격 경로를 애플리케이션 배포 이전 단계에서 식별할 수 있도록 지원한다. 또한 레드팀 결과를 반복 가능한 자동화 테스트로 전환해, 에이전트가 진화하는 과정에서도 회귀 문제를 지속적으로 점검할 수 있도록 한다.

클래리티, 설계 단계에서 가정 검증

램파트가 개발 중인 시스템 테스트에 초점을 맞췄다면, 클래리티는 코드 작성 이전 단계에 집중한다.

MS는 클래리티를 AI 에이전트 설계 과정에서의 가정과 의사결정을 점검하고 검증하는 도구로 설명했다. 여기에는 에이전트의 예상 동작 방식, 부여된 권한, 외부 시스템 및 도구와의 상호작용, 신뢰 경계 설정 등이 포함된다.

쿠마르는 “클래리티는 데스크톱 애플리케이션, 웹 UI, 또는 코딩 에이전트에 직접 통합된 형태로 실행된다”라며 “문제 정의, 해결책 탐색, 실패 분석, 의사결정 추적 등 구조화된 대화를 통해 엔지니어를 지원한다”라고 말했다.

이 과정에서 생성된 대화는 저장소 내 ‘.clarity-protocol/’ 디렉터리에 마크다운 파일 형태로 기록된다. 해당 파일은 코드처럼 커밋하거나 풀 리퀘스트로 검토할 수 있으며, 변경 사항 비교(diff)도 가능하다.

한편 MS는 최근 몇 달간 오픈소스 기반의 ‘에이전트 거버넌스’ 및 안전성 스택을 지속적으로 구축해왔다. 램파트와 클래리티 역시 단일 도구가 아닌 전체 전략의 일부다. 지난달에는 정책 적용과 상시 통제, OWASP 기준 보안을 지원하는 ‘에이전트 거버넌스 툴킷’을 공개한 바 있다.
dl-ciokorea@foundryco.com