Skip to content
Tiatra, LLCTiatra, LLC
Tiatra, LLC
Information Technology Solutions for Washington, DC Government Agencies
  • Home
  • About Us
  • Services
    • IT Engineering and Support
    • Software Development
    • Information Assurance and Testing
    • Project and Program Management
  • Clients & Partners
  • Careers
  • News
  • Contact
 
  • Home
  • About Us
  • Services
    • IT Engineering and Support
    • Software Development
    • Information Assurance and Testing
    • Project and Program Management
  • Clients & Partners
  • Careers
  • News
  • Contact

강은성의 보안 아키텍트 | 인공지능, LLM 애플리케이션, 사이버보안

AI를 활용한다는 보안제품과 서비스를 기사나 제품 설명에서 본 적이 있으나, 전시회나 발표장에서 직접 질문하거나 개발팀에 문의해 보면 아직 로그 분석을 통한 이상행위 탐지 수준을 많이 넘어서지는 못한 듯하다. (혹시 AI 기술을 잘 활용한 보안제품이나 서비스를 개발한 팀이 있으면 정보를 주시면 좋겠다.)

AI와 사이버보안

AI와 사이버보안

OWASP Top 10은 보안 동네에 조금 발을 들여놓은 분이라면 한 번쯤 찾아보는 10대 웹 취약점 목록이다. 비영리재단인 OWASP에서는 2003년부터 10대 웹 취약점을 발표해 왔는데, 이 목록은 보안컨설팅의 기본적인 기준이 되어 왔고, 기업에서도 가장 먼저 해결해야 할 문제로 다뤄왔다.

OWASP Mobile Top 10, OWASP IoT Top 10, OWASP API Security Top 10으로 그 영역을 넓히다가 2023년 2월, 재단 이름도 ‘오픈 웹 애플리케이션 시큐리티’에서 ‘오픈 월드와이드 애플리케이션 시큐리티 프로젝트’로 바꾼 OWASP의 최근 주 관심사의 하나는 대형언어모델(Large Language Model,LLM) 분야의 취약점이다.

OWASP의 핵심 분야인 웹 취약점도 3~4년에 한 번씩 갱신하는데, 2023년 8월에 처음 등장한 ‘LLM OWASP Top 10 for LLM v1.0’은 같은 해 10월에 v1.0과 같은 10개 취약점에 좀 더 애플리케이션 측면을 강화하여 ‘OWASP Top 10 for LLM Applications v1.1’이 발표됐고, 겨우 1년 남짓 지난 2024년 11월에는 ‘OWASP Top 10 for LLM Applications 2025’를 발표했다. 2년 만에 3개 버전을 발표한 셈이다. 그만큼 LLM과 LLM 애플리케이션의 변화와 발전의 속도가 빠르다는 점을 알 수 있다.

OWASP Top 10 for LLM Applications, v1.1 vs 2025

OWASP Top 10 for LLM Applications, v1.1 vs 2025

OWASP Top 10 for LLM Mobile Applications 2025는 1년 전의 v1.1과는 상당히 변화가 있다. 순위의 변화도 있지만, 겨우 1년 만에 두 개의 신규 취약점이 추가됐고, 이름이 없어진 취약점이 3개 있다. (좀 애매한 것도 있으나 완전히 없어졌다기보다는 다른 취약점에 통합된 것으로 보는 게 적절할 것 같다.)

최근 LLM 에이전트를 개발하는 회사가 늘어나는데, 그런 회사들은 ‘과도한 대리권’(Excessive Agency)을 살펴보면 도움이 될 것 같고, ‘검색 증강 생성’(Retrieval Augmented Generation, RAG)을 이용하는 회사는 ‘공급망’ 관점에서 전체적인 구성 요소와 보안 이슈를 검토하고, 벡터 및 임베딩 약점을 살펴보면 도움이 되지 않을까 싶다. 물론 모델 자체에 대한 공격도 있으니, 모델을 선택, 검증, 보호하는 데에도 여전히 노력을 기울여야 하고, 민감한 정보 공개, 데이터 및 모델 중독 등도 관련이 없는 것은 아니나 개발회사 관점에서 좀 더 그렇다는 얘기다.

이 문서를 풍부하게 해 주는 것은 어쩌면 취약점마다 10개 안팎으로 있는 다양한 참고문헌이 아닌가 싶다. 아직 모델과 애플리케이션, 작동 환경과 위협의 변화가 많은 만큼 다양한 사례와 그림, 설명이 취약점과 위험, 완화방안을 이해하는 데 적지 않은 도움이 된다.

MITRE ATLAS

MITRE ATLAS

MITRE ATLAS Matrix

AI 시스템에 대한 위협을 정의한 프레임워크로는 MITRE ATLAS(Adversarial Threat Landscape for Artificial-Intelligence Systems, AI 시스템에 대한 적대적 위협 환경)가 있다. 보안 동네에서 익히 잘 알려진 MITRE는, 공격 전술과 기법, 절차 및 공격에 대한 완화기법을 제시한 ATT&CK 매트릭스를 토대로 AI시스템에 특화된 공격 전술과 그에 사용된 ML(Machine Learning) 기법 및 완화 기법을 기술한 MITRE ATLAS를 2021년 9월에 공개하였다.

ATLAS에서는 ATT&CK의 일부 전술(Lateral Movement, Command and Control)이 제외됐고, AI시스템 공격에 특화된 전술(ML Model Access, ML Attack Staging)이 추가되었다. 또한, ATT&CK의 전술 단계에 해당하는 공격 기법에 ML 기법이 추가되었다. ATT&CK과 마찬가지로 공격 기법에 대한 완화 기법 역시 제시되었다. 사이버 공격을 MITRE ATT&CK의 공격 기법에 연계하고, 이를 예방, 탐지, 대응할 수 있도록 보안 기술을 개발, 자동화해 온 것처럼 MITRE ATLAS 역시 다양한 자동화 방식이 시도되고 있다.

LLM의 선두 주자라 할 수 있는 오픈AI에서는 꾸준하게 챗GPT를 악용한 공격을 분석하여 보고서를 발간하고 있다. 오픈AI는 2024년 10월에 공개한 보고서 <영향력과 사이버 작전: 업데이트>(Influence and cyber operations: an update)에서 이란, 러시아, 중국, 르완다, 미국 등 여러 나라의 위협 행위자가 챗GPT를 악용하여 수행한 사이버 공격을 다양한 경로로 탐지, 분석, 차단하였다고 밝혔다.

LLM ATT&CK 프레임워크 TTP에 연결된 스위트스펙터 공격그룹의 공격 활동

LLM ATT&CK 프레임워크 TTP에 연결된 스위트스펙터 공격그룹의 공격 활동

Influence and cyber operations: an update>(OpenAI, 2024.10.)의 그림을 재구성

이 보고서에 따르면, 공격자는 여러 애플리케이션의 취약점을 얻거나 원격실행 취약점이 있는 Log4j의 버전을 찾고, sqlmap을 사용해 목표 서버에 웹셸을 올리는 방법이나 유명 제조사의 인프라를 공격하는 방법을 알아보는 데 LLM을 활용하였다. MITRE ATT&CK 전술의 ‘정찰’ 단계에 해당하는 ‘기법’으로 볼 수 있다. 뿐만 아니라 LLM의 지원을 받아 공격에 필요한 코드를 디버깅하거나 스크립트를 개발하기도 하였다. ‘자원 개발’ 전술에 해당하는 ‘기법’이다.

오픈AI는 마이크로소프트와 협업하여 MITRE ATT&CK 프레임워크를 토대로 만든 LLM ATT&CK 프레임워크를 기준으로 LLM 활용 공격 활동을 분석하였는데, 전통적인 사이버 공격에서 LLM을 악용한 활동을 탐지, 분석하는 데 초점을 두고 있는 것이 특징이다. AI 모델 개발 기업이 그것을 악용한 사이버 공격을 대응, 분석하기 위해 체계적이고 지속적으로 노력한다는 점은 높이 평가할 만하다.

2022년 챗GPT를 중심으로 한 LLM의 비약적인 발전 이후 2024년부터는 LLM 에이전트나 애플리케이션의 개발과 활용 역시 꾸준히 증가하는 추세다. 그에 따라 어쩌다 기사를 장식하던 LLM 및 LLM 애플리케이션에 대한 공격 또한, 실제 사례로 꾸준히 등장하고 있다. OWASP나 MITRE 같은 전통적인 사이버 위협 기구뿐 아니라 AI 모델 개발업체가 이에 대응하는 활동을 하는 것이 반가운 이유다. 이제 LLM 애플리케이션 개발업체나 개발자들도 LLM 관련 보안에 관심을 둬야 할 때가 된 것 같다.
[email protected]


Read More from This Article: 강은성의 보안 아키텍트 | 인공지능, LLM 애플리케이션, 사이버보안
Source: News

Category: NewsApril 16, 2025
Tags: art

Post navigation

PreviousPrevious post:연 85억 원 절감한 공공기관의 선택…출장 관리 DX로 완성한 비용 최적화 공식NextNext post:인터뷰 | “AI 제조 이네이블러를 향합니다” KG ICT 박완상 부사장

Related posts

CDO and CAIO roles might have a built-in expiration date
May 9, 2025
What CIOs can do to convert AI hype into tangible business outcomes
May 9, 2025
IT Procurement Trends Every CIO Should Watch in 2025
May 9, 2025
‘서둘러 짠 코드가 빚으로 돌아올 때’··· 기술 부채 해결 팁 6가지
May 9, 2025
2025 CIO 현황 보고서 발표··· “CIO, 전략적 AI 조율가로 부상”
May 9, 2025
독일 IT 사용자 협회, EU 집행위에 브로드컴 민원 제기··· “심각한 경쟁 위반”
May 9, 2025
Recent Posts
  • CDO and CAIO roles might have a built-in expiration date
  • What CIOs can do to convert AI hype into tangible business outcomes
  • IT Procurement Trends Every CIO Should Watch in 2025
  • ‘서둘러 짠 코드가 빚으로 돌아올 때’··· 기술 부채 해결 팁 6가지
  • 2025 CIO 현황 보고서 발표··· “CIO, 전략적 AI 조율가로 부상”
Recent Comments
    Archives
    • May 2025
    • April 2025
    • March 2025
    • February 2025
    • January 2025
    • December 2024
    • November 2024
    • October 2024
    • September 2024
    • August 2024
    • July 2024
    • June 2024
    • May 2024
    • April 2024
    • March 2024
    • February 2024
    • January 2024
    • December 2023
    • November 2023
    • October 2023
    • September 2023
    • August 2023
    • July 2023
    • June 2023
    • May 2023
    • April 2023
    • March 2023
    • February 2023
    • January 2023
    • December 2022
    • November 2022
    • October 2022
    • September 2022
    • August 2022
    • July 2022
    • June 2022
    • May 2022
    • April 2022
    • March 2022
    • February 2022
    • January 2022
    • December 2021
    • November 2021
    • October 2021
    • September 2021
    • August 2021
    • July 2021
    • June 2021
    • May 2021
    • April 2021
    • March 2021
    • February 2021
    • January 2021
    • December 2020
    • November 2020
    • October 2020
    • September 2020
    • August 2020
    • July 2020
    • June 2020
    • May 2020
    • April 2020
    • January 2020
    • December 2019
    • November 2019
    • October 2019
    • September 2019
    • August 2019
    • July 2019
    • June 2019
    • May 2019
    • April 2019
    • March 2019
    • February 2019
    • January 2019
    • December 2018
    • November 2018
    • October 2018
    • September 2018
    • August 2018
    • July 2018
    • June 2018
    • May 2018
    • April 2018
    • March 2018
    • February 2018
    • January 2018
    • December 2017
    • November 2017
    • October 2017
    • September 2017
    • August 2017
    • July 2017
    • June 2017
    • May 2017
    • April 2017
    • March 2017
    • February 2017
    • January 2017
    Categories
    • News
    Meta
    • Log in
    • Entries feed
    • Comments feed
    • WordPress.org
    Tiatra LLC.

    Tiatra, LLC, based in the Washington, DC metropolitan area, proudly serves federal government agencies, organizations that work with the government and other commercial businesses and organizations. Tiatra specializes in a broad range of information technology (IT) development and management services incorporating solid engineering, attention to client needs, and meeting or exceeding any security parameters required. Our small yet innovative company is structured with a full complement of the necessary technical experts, working with hands-on management, to provide a high level of service and competitive pricing for your systems and engineering requirements.

    Find us on:

    FacebookTwitterLinkedin

    Submitclear

    Tiatra, LLC
    Copyright 2016. All rights reserved.