강은성의 보안 아키텍트 | 인공지능, LLM 애플리케이션, 사이버보안

AI를 활용한다는 보안제품과 서비스를 기사나 제품 설명에서 본 적이 있으나, 전시회나 발표장에서 직접 질문하거나 개발팀에 문의해 보면 아직 로그 분석을 통한 이상행위 탐지 수준을 많이 넘어서지는 못한 듯하다. (혹시 AI 기술을 잘 활용한 보안제품이나 서비스를 개발한 팀이 있으면 정보를 주시면 좋겠다.)

AI와 사이버보안

OWASP Top 10은 보안 동네에 조금 발을 들여놓은 분이라면 한 번쯤 찾아보는 10대 웹 취약점 목록이다. 비영리재단인 OWASP에서는 2003년부터 10대 웹 취약점을 발표해 왔는데, 이 목록은 보안컨설팅의 기본적인 기준이 되어 왔고, 기업에서도 가장 먼저 해결해야 할 문제로 다뤄왔다.

OWASP Mobile Top 10, OWASP IoT Top 10, OWASP API Security Top 10으로 그 영역을 넓히다가 2023년 2월, 재단 이름도 ‘오픈 웹 애플리케이션 시큐리티’에서 ‘오픈 월드와이드 애플리케이션 시큐리티 프로젝트’로 바꾼 OWASP의 최근 주 관심사의 하나는 대형언어모델(Large Language Model,LLM) 분야의 취약점이다.

OWASP의 핵심 분야인 웹 취약점도 3~4년에 한 번씩 갱신하는데, 2023년 8월에 처음 등장한 ‘LLM OWASP Top 10 for LLM v1.0’은 같은 해 10월에 v1.0과 같은 10개 취약점에 좀 더 애플리케이션 측면을 강화하여 ‘OWASP Top 10 for LLM Applications v1.1’이 발표됐고, 겨우 1년 남짓 지난 2024년 11월에는 ‘OWASP Top 10 for LLM Applications 2025’를 발표했다. 2년 만에 3개 버전을 발표한 셈이다. 그만큼 LLM과 LLM 애플리케이션의 변화와 발전의 속도가 빠르다는 점을 알 수 있다.

OWASP Top 10 for LLM Applications, v1.1 vs 2025

OWASP Top 10 for LLM Mobile Applications 2025는 1년 전의 v1.1과는 상당히 변화가 있다. 순위의 변화도 있지만, 겨우 1년 만에 두 개의 신규 취약점이 추가됐고, 이름이 없어진 취약점이 3개 있다. (좀 애매한 것도 있으나 완전히 없어졌다기보다는 다른 취약점에 통합된 것으로 보는 게 적절할 것 같다.)

최근 LLM 에이전트를 개발하는 회사가 늘어나는데, 그런 회사들은 ‘과도한 대리권’(Excessive Agency)을 살펴보면 도움이 될 것 같고, ‘검색 증강 생성’(Retrieval Augmented Generation, RAG)을 이용하는 회사는 ‘공급망’ 관점에서 전체적인 구성 요소와 보안 이슈를 검토하고, 벡터 및 임베딩 약점을 살펴보면 도움이 되지 않을까 싶다. 물론 모델 자체에 대한 공격도 있으니, 모델을 선택, 검증, 보호하는 데에도 여전히 노력을 기울여야 하고, 민감한 정보 공개, 데이터 및 모델 중독 등도 관련이 없는 것은 아니나 개발회사 관점에서 좀 더 그렇다는 얘기다.

이 문서를 풍부하게 해 주는 것은 어쩌면 취약점마다 10개 안팎으로 있는 다양한 참고문헌이 아닌가 싶다. 아직 모델과 애플리케이션, 작동 환경과 위협의 변화가 많은 만큼 다양한 사례와 그림, 설명이 취약점과 위험, 완화방안을 이해하는 데 적지 않은 도움이 된다.

MITRE ATLAS Matrix

AI 시스템에 대한 위협을 정의한 프레임워크로는 MITRE ATLAS(Adversarial Threat Landscape for Artificial-Intelligence Systems, AI 시스템에 대한 적대적 위협 환경)가 있다. 보안 동네에서 익히 잘 알려진 MITRE는, 공격 전술과 기법, 절차 및 공격에 대한 완화기법을 제시한 ATT&CK 매트릭스를 토대로 AI시스템에 특화된 공격 전술과 그에 사용된 ML(Machine Learning) 기법 및 완화 기법을 기술한 MITRE ATLAS를 2021년 9월에 공개하였다.

ATLAS에서는 ATT&CK의 일부 전술(Lateral Movement, Command and Control)이 제외됐고, AI시스템 공격에 특화된 전술(ML Model Access, ML Attack Staging)이 추가되었다. 또한, ATT&CK의 전술 단계에 해당하는 공격 기법에 ML 기법이 추가되었다. ATT&CK과 마찬가지로 공격 기법에 대한 완화 기법 역시 제시되었다. 사이버 공격을 MITRE ATT&CK의 공격 기법에 연계하고, 이를 예방, 탐지, 대응할 수 있도록 보안 기술을 개발, 자동화해 온 것처럼 MITRE ATLAS 역시 다양한 자동화 방식이 시도되고 있다.

LLM의 선두 주자라 할 수 있는 오픈AI에서는 꾸준하게 챗GPT를 악용한 공격을 분석하여 보고서를 발간하고 있다. 오픈AI는 2024년 10월에 공개한 보고서 <영향력과 사이버 작전: 업데이트>(Influence and cyber operations: an update)에서 이란, 러시아, 중국, 르완다, 미국 등 여러 나라의 위협 행위자가 챗GPT를 악용하여 수행한 사이버 공격을 다양한 경로로 탐지, 분석, 차단하였다고 밝혔다.

Influence and cyber operations: an update>(OpenAI, 2024.10.)의 그림을 재구성

이 보고서에 따르면, 공격자는 여러 애플리케이션의 취약점을 얻거나 원격실행 취약점이 있는 Log4j의 버전을 찾고, sqlmap을 사용해 목표 서버에 웹셸을 올리는 방법이나 유명 제조사의 인프라를 공격하는 방법을 알아보는 데 LLM을 활용하였다. MITRE ATT&CK 전술의 ‘정찰’ 단계에 해당하는 ‘기법’으로 볼 수 있다. 뿐만 아니라 LLM의 지원을 받아 공격에 필요한 코드를 디버깅하거나 스크립트를 개발하기도 하였다. ‘자원 개발’ 전술에 해당하는 ‘기법’이다.

오픈AI는 마이크로소프트와 협업하여 MITRE ATT&CK 프레임워크를 토대로 만든 LLM ATT&CK 프레임워크를 기준으로 LLM 활용 공격 활동을 분석하였는데, 전통적인 사이버 공격에서 LLM을 악용한 활동을 탐지, 분석하는 데 초점을 두고 있는 것이 특징이다. AI 모델 개발 기업이 그것을 악용한 사이버 공격을 대응, 분석하기 위해 체계적이고 지속적으로 노력한다는 점은 높이 평가할 만하다.

2022년 챗GPT를 중심으로 한 LLM의 비약적인 발전 이후 2024년부터는 LLM 에이전트나 애플리케이션의 개발과 활용 역시 꾸준히 증가하는 추세다. 그에 따라 어쩌다 기사를 장식하던 LLM 및 LLM 애플리케이션에 대한 공격 또한, 실제 사례로 꾸준히 등장하고 있다. OWASP나 MITRE 같은 전통적인 사이버 위협 기구뿐 아니라 AI 모델 개발업체가 이에 대응하는 활동을 하는 것이 반가운 이유다. 이제 LLM 애플리케이션 개발업체나 개발자들도 LLM 관련 보안에 관심을 둬야 할 때가 된 것 같다.
dl-ciokorea@foundryco.com