“AI 에이전트가 악성코드를 역공학 분석”··· MS, ‘프로젝트 아이어’ 공개

마이크로소프트(MS)가 소프트웨어의 출처나 목적에 대한 사전 정보 없이도 이를 악성 또는 정상으로 분류 및 분석할 수 있는 자율형 AI 에이전트 ‘프로젝트 아이어’를 공개했다.

이 시스템은 마이크로소프트 리서치(Microsoft Research), 디펜더 리서치(Microsoft Defender Research), 디스커버리 & 퀀텀(Microsoft Discovery & Quantum)이 공동 개발했으며, 대규모 언어 모델(LLM)과 호출 가능한 역공학 및 바이너리 분석 도구 모음을 활용해 위협을 조사하고 판정한다.

MS에 따르면 프로젝트 아이어는 윈도우 드라이버 공개 데이터셋을 대상으로 한 테스트에서 정밀도 0.98, 재현율 0.83을 기록했다. MS는 프로젝트 아이어가 자사 최초로 특정 APT(지능형 지속 위협) 악성코드 샘플을 자동 차단할 수 있을 만큼 충분한 근거를 구축한 역공학 프로젝트라고 밝혔다. 해당 위협은 이후 MS 디펜더(Microsoft Defender)에 의해 확인 및 차단됐다.

프로젝트 아이어의 작동 방식

MS 디펜더는 매달 10억 대 이상의 활성 기기를 스캔하고 있으며, 상당수 소프트웨어가 전문가의 수동 검토를 거친다. 이런 구조로 인해 작업 과정에서 오류와 경고 과부하가 발생하기 쉽다. 프로젝트 아이어는 문제를 해결하기 위해 낮은 수준의 바이너리 분석부터 제어 흐름 복원, 코드 동작의 높은 수준 해석까지 다층적 추론이 가능하도록 설계됐다.

프로젝트 아이어는 먼저 파일의 유형과 구조를 식별한 뒤, 앵거(angr)와 기드라(Ghidra) 같은 역공학 도구를 활용해 소프트웨어의 제어 흐름 그래프를 복원한다. 이후 API를 통해 주요 함수를 분석하고, 판정 과정과 근거를 입증하는 세부 ‘증거 체인(chain of evidence)’을 구축한다. 내장 검증기는 분석 결과를 전문가 입력과 대조해 정확성을 확보한 후, 해당 소프트웨어를 악성 또는 정상으로 분류한다.

가트너(Gartner) 수석 디렉터 애널리스트 차란팔 보갈은 “프로젝트 아이어는 역공학 소프트웨어에 의존하는 기존 도구를 뛰어넘어 위협을 탐지하는 자율형 AI 프로토타입이다. 현재 시장의 TDIR(Threat Detection, Investigation, and Response) 도구들이 알려진 머신러닝, AI 모델과 정보에 기반해 기존 위협과 패턴을 식별하는 반면, 프로젝트 아이어는 파일 동작을 심층적이고 독립적으로 분석하는 것으로 보인다”라고 말했다. 그는 이어 “AI 에이전트가 공격 표면을 분석하고, 조치를 위한 명확한 ‘증거 체인’을 제시함으로써 새로운 또는 이전에 발견되지 않은 악성코드를 식별할 수 있다. 에이전틱 AI 요소는 사람 지원 중심에서 완전 자율형 방식으로 바뀌고 있지만, 여전히 사람이 개입하는 구조를 유지한다”라고 설명했다.

테크인사이츠(TechInsights) 애널리스트 마니시 라와트는 “크라우드스트라이크 팔콘(CrowdStrike Falcon), 센티넬원(SentinelOne), 팔로알토 코텍스 XDR(Palo Alto Cortex XDR)처럼 패턴 인식, 지도학습, 인간 검증에 의존하는 기존 도구와 달리, 아이어는 사람의 인지 과정을 모사한 추론 엔진을 사용해 독립적으로 악성코드 분석을 생성하고 해석 가능한 위협 분류를 제공하도록 설계됐다. 이는 경고 과부하를 줄이고 분류 및 대응 시간을 단축할 수 있다”라고 진단했다.

실제 환경 테스트

실제 환경에서는 자동화 도구들이 식별하지 못한 4,000개 ‘하드 타깃’ 파일을 대상으로 시험이 진행됐다. MS에 따르면 프로젝트 아이어는 10건 중 9건의 악성 파일을 정확히 식별했고 오탐율은 4%였다.

이런 성능을 기반으로 프로젝트 아이어는 고위험, 대규모, 신속 대응이 필수적인 환경에서 기존 인재 중심의 위협 분류로는 대응이 어려운 조직에 적합할 것으로 예상됐다.

라와트는 이상적인 도입 대상으로 클라우드 네이티브 기업, 다국적 기업, 광범위하고 복잡한 공격 표면을 관리하는 중요 인프라 분야를 꼽았다. 그는 또, 보안운영센터(SOC) 인력이 부족한 중기업도 사이버보안 인재 부족 상황에서 아이어를 활용해 탐지 역량을 확장할 수 있을 것이라고 전망했다.

보갈은 국방, 의료, 금융, 정부, 제조업 등 성숙한 소프트웨어 개발 체계를 갖춘 대기업 역시 아이어로부터 가치를 얻을 수 있다고 밝혔다.

배포 과제

현재 프로젝트 아이어는 프로토타입 단계이며, MS는 이를 위협 탐지와 소프트웨어 분류를 위한 ‘바이너리 분석기(Binary Analyzer)’로 MS 디펜더 조직 내에서 활용할 계획이다.

프로젝트 아이어를 실제 기업 SOC에 도입하려면 상당한 기술적, 운영적 변화가 필요할 전망이다. EIIR트렌드 & 파리크 컨설팅(Pareekh Consulting)의 CEO 파리크 자인은 “기업 SOC에서 프로젝트 아이어를 활용하려면 기존 SIEM 및 SOAR 시스템과의 통합, LLM 구동을 위한 강력한 컴퓨팅 인프라, AI 출력 해석을 위한 분석가 교육, 재설계된 에스컬레이션 프로세스, 투명성·컴플라이언스·리스크 통제를 보장하는 거버넌스 개선이 필요하다”라고 말했다.

자인은 “프로젝트 아이어는 업계가 자율적으로 행동, 적응, 의사결정이 가능한 에이전틱 AI 중심으로 이동하고 있음을 보여준다”라면서도, “자율형 시스템에 대한 과도한 의존은 AI 의사결정에 대한 과신, 모델 드리프트나 적대적 공격, 설명 가능성 부족, 과도한 위임으로 인한 인적 역량 저하와 같은 리스크를 초래할 수 있다”라고 진단했다.
dl-ciokorea@foundryco.com