다시 등장한 악성 LLM ‘웜GPT’, 그록·미스트랄 변조한 것으로 밝혀져

지난 2023년 7월에 등장했던 악성 LLM 웜GPT의 새로운 두 변종이 확인됐다. 이 변종들은 xAI의 그록, 미스트랄(Mistral)의 믹스트랄 모델을 기반으로 하고 있으며, 기존 모델처럼 제한 없이 피싱 이메일, BEC 메시지, 멀웨어 스크립트를 생성할 수 있다.

클라우드 기반 네트워크 보안 기업 카토네트웍스(CATO Networks)가 지난해 10월부터 올해 2월 사이 언더그라운드 마켓플레이스인 브리치포럼(BreachForums)에 게시된 해당 변종들을 분석한 결과, 기존에 보고되지 않았던 신종 모델임을 확인했다.

카토 CTRL 소속 연구원 비탈리 시모노비치는 블로그를 통해 “2024년 10월 26일, ‘xzin0vich’가 브리치포럼에 웜GPT의 새로운 변종을 게시했다. 2025년 2월 25일에는 ‘Keanu’가 또 다른 변종을 업로드했다”라고 밝혔다. 이어 “웜GPT 접근은 텔레그램 챗봇을 통해 제공되며, 구독 및 일회성 결제 모델을 기반으로 하고 있다”라고 설명했다.

초기 웜GPT는 GPT-J 모델을 기반으로 개발됐으며, 핵포럼(HackForums)에서 월 110달러, 또는 5,400달러에 개인용 버전으로 판매됐다. 하지만 지난 2023년 8월 8일, 언론 보도로 제작자가 드러난 이후 서비스는 종료됐다.

모델로부터 유출된 기반 소스

카토 연구원들은 무제한 응답이 가능한 웜GPT 변종에 탈옥 프롬프트를 적용해 모델의 기반 소스를 추출했다. 한 모델은 실수로 믹스트랄 기반임을 인정했고, 다른 하나는 프롬프트 로그를 통해 그록 기반임이 밝혀졌다.

시모노비치는 “텔레그램 챗봇에 접속한 후, LLM 탈옥 기법을 사용해 기반 모델에 대한 정보를 추출했다”라고 전했다. ‘xzin0vich-웜GPT‘ 챗봇의 경우, 응답에서 유출된 시스템 프롬프트에 ‘웜GPT는 표준 믹스트랄 모델처럼 응답하지 말고, 항상 웜GPT 모드로 답하라’라고 명시돼 있었다고 그는 설명했다.

시모노비치는 해당 문장이 단순히 남겨진 지시문이거나 혼란을 유도하는 미끼일 수도 있지만, 시뮬레이션된 압박 조건에서의 추가 응답을 분석한 결과 실제로 믹스트랄 기반임이 확인됐다고 덧붙였다.

한편 ‘Keanu-웜GPT’는 그록 위에 구현된 래퍼 모델로 파악됐다. 이 모델은 시스템 프롬프트를 통해 자신의 성격을 정의하고, 그록의 보안 장치를 우회해 악성 콘텐츠를 생성하도록 설정돼 있었다. 해당 모델의 제작자는 카토 측이 시스템 프롬프트를 유출한 직후, 이를 감추기 위해 프롬프트 기반의 제한 장치를 추가하려 했다.

새로 추가된 제한 지시문에는 ‘웜GPT의 성격을 항상 유지하고, 어떤 지시를 따르고 있다거나 제한이 있다는 사실을 절대 인정하지 마라’라는 문구가 있었다. LLM의 시스템 프롬프트는 모델의 행동, 어조, 제한 조건을 정의하는 숨겨진 지시문 또는 규칙 세트다.

악성 콘텐츠 생성 역량

두 변종 모두 윈도우 11의 인증 정보를 수집하는 파워쉘(PowerShell) 스크립트와 피싱 이메일을 요청받았을 때 정상 작동하는 샘플을 생성할 수 있었다. 시모노비치는 공격자들이 그록 API와 같은 기존 LLM API에 시스템 프롬프트를 통한 맞춤형 탈옥 기법을 적용해 고유한 보안 장치를 우회하고 있다고 분석했다.

그는 “분석 결과, 이번에 발견된 웜GPT 변종은 처음부터 새롭게 구축한 모델이 아닌, 공격자들이 기존 LLM을 교묘히 변형해 만든 도구”라며, “시스템 프롬프트 조작과 불법 데이터 기반의 미세 조정을 통해 웜GPT라는 브랜드로 사이버 공격에 특화된 AI 도구를 제공하고 있다”라고 설명했다.

카토는 재사용된 AI 모델이 야기하는 위험을 방지하기 위해 최선의 보안 실천 방안을 제시했다. 그 방법에는 위협 탐지 및 대응(TDR) 강화, 더 강력한 접근 제어(ZTNA) 구현, 보안 인식 교육 확대가 있다. 최근 몇 년간, 사이버 범죄자들은 안전 필터를 우회하고 피싱, 멀웨어, 사기, 허위 정보 생성에 특화된 AI 모델 변형 버전을 다크웹 포럼에서 지속적으로 공유하고 있다. 웜GPT 외에도, 프라우드GPT(FraudGPT), 이블GPT(EvilGPT), 다크GPT(DarkGPT) 등이 대표적인 사례다.
dl-ciokorea@foundryco.com