Skip to content
Tiatra, LLCTiatra, LLC
Tiatra, LLC
Information Technology Solutions for Washington, DC Government Agencies
  • Home
  • About Us
  • Services
    • IT Engineering and Support
    • Software Development
    • Information Assurance and Testing
    • Project and Program Management
  • Clients & Partners
  • Careers
  • News
  • Contact
 
  • Home
  • About Us
  • Services
    • IT Engineering and Support
    • Software Development
    • Information Assurance and Testing
    • Project and Program Management
  • Clients & Partners
  • Careers
  • News
  • Contact

시스코 보안 연구진, LLM 표적 공격 수법에 대한 연구결과 및 위협 사례 공개

시스코 보안 연구진이 AI의 핵심 요소인 LLM을 감염시키거나 공격하려는 악의적 행위자들의 위협 사례를 소개했다.

시스코 탈로스의 보안 엔지니어 마틴 리는 현재와 미래의 AI 위협을 다룬 블로그 글에서 “스팸 방지 시스템으로부터 수신자에게 표시되는 콘텐츠의 본질을 숨기는 것은 새로운 기술이 아니다. 스팸 발송자는 수십 년 동안 숨겨진 텍스트를 포함하거나 서식 규칙을 사용하여 스팸 분석으로부터 실제 메시지를 위장해 왔다. 하지만 2024년 하반기에 이러한 기술의 사용이 증가하는 추세가 확인됐다”라고 전했다.

리는 기계 분석이나 사람의 감독으로부터 콘텐츠를 위장하고 숨기는 능력이 AI 시스템에 대한 더 중요한 공격 벡터가 될 것이라고 언급했다. 그는 “다행히도 이러한 종류의 난독화를 탐지하는 기술은 잘 알려져 있으며 시스코 이메일 위협 방어와 같은 스팸 탐지 시스템에 이미 통합되어 있다. 반대로 이런 방식으로 콘텐츠를 난독화하려는 시도가 있다는 것은 해당 메시지가 악의적이며 스팸으로 분류될 수 있다는 것을 명백히 보여준다”라고 말했다.

이와 별개로 AI 연구원 아담 스완다와 시스코 보안의 제품 마케팅 매니저 에밀 안톤은 새롭게 등장하는 AI 사이버 위협을 언급했다. 이들은 구체적인 공격 방법 3가지를 제시했다.

  • 단일 턴 크레센도 공격(Single-Turn Crescendo Attack, STCA): “이전의 위협 분석에서 발견된 다중 턴 상호작용 방식과는 다른 기술이다. 기존에는 LLM과의 여러 차례 상호작용을 통해 콘텐츠 조정 필터를 점진적으로 우회했으나, STCA는 단일 상호작용 내에서 확장된 대화를 구현해 여러 최신 모델의 보안을 효율적으로 무력화한다. 이 공격은 한 번의 프롬프트로 논란이 될 만한 콘텐츠나 명시적 콘텐츠로 이어지는 맥락을 구축하며 LLM의 패턴 연속 경향을 악용한다. 이 기술을 개발한 연구원 앨런 아크라위와 아리안 아바시는 GPT-4, 제미나이 1.5, 라마 3 변형 모델에 대한 공격 성공 사례를 입증했다. 이런 공격이 현실 세계에 미칠 영향은 매우 우려되는 수준이며, 강력한 콘텐츠 조정과 필터 조치의 중요성을 부각한다.“
  • 단순 보조 작업 연결(SATA)을 통한 제한 우회: “SATA는 단순 보조 작업 연결을 활용하여 LLM의 제한을 우회하는 새로운 패러다임이다. 이 기술은 주어진 프롬프트에서 유해한 키워드를 가리고, 마스킹된 언어 모델(MLM)과 위치별 요소 조회(ELP)와 같은 단순 보조 작업을 사용해 가려진 단어로 인한 의미상의 공백을 채운다. 칭화대학교, 허페이 공과대학교, 상하이 치즈 연구소의 연구진은 AdvBench 데이터 세트에서 공격 성공률이 MLM 사용 시 85%, ELP 사용 시 76%에 달했다고 밝혔다. 이는 기존 방식에서 크게 개선된 결과로, SATA가 저비용 고효율의 LLM 보안 우회 수단이 될 수 있음을 시사한다.”
  • 신경망 캐리어 기사(Neural Carrier Articles)를 통한 제한 우회: “신경망 캐리어 기사는 무해해 보이는 일반 기사에 금지된 쿼리를 숨겨 모델의 보안 장치를 효과적으로 우회하는 새로운 기법이다. 이 기술은 워드넷과 같은 어휘 데이터베이스와 작문용 LLM만을 사용해 모델의 보안 경보를 발동시키지 않으면서도 유해한 쿼리와 맥락상 유사한 프롬프트를 생성한다. 펜실베이니아 주립대학교, 노던 애리조나대학교, 우스터 폴리테크닉 연구소, 카네기멜론대학교 연구진은 이 기법이 블랙박스 환경에서 여러 최신 모델에 효과적이며, 진입 장벽이 상대적으로 낮다는 점을 입증했다.”

시스코 연구진은 또한 엘리스 연구소와 메릴랜드대학교의 추가 연구를 인용해 LLM에 대한 적대적 공격을 설명했다. 해당 연구는 현 세대 LLM이 의도하지 않은 여러 동작을 수행하도록 쉽게 조작될 수 있다는 점을 강조했다. 연구 결과에 따르면 LLM이 사용자나 다른 LLM에게 악성 URL이나 유해한 지침을 전달하는 오도 공격과, GPU 자원을 고갈시키기 위해 LLM이 과도한 양의 토큰을 생성하도록 만드는 서비스 거부 공격이 가능한 것으로 나타났다.
[email protected]


Read More from This Article: 시스코 보안 연구진, LLM 표적 공격 수법에 대한 연구결과 및 위협 사례 공개
Source: News

Category: NewsFebruary 5, 2025
Tags: art

Post navigation

PreviousPrevious post:QKD 상용화부터 우주 실험까지··· 시스코 ‘퀀텀 서밋’ 통해 본 양자 기술의 현주소NextNext post:스노우플레이크, 코텍스 AI에서 딥시크-R1 지원··· “서버리스 추론에 활용”

Related posts

휴먼컨설팅그룹, HR 솔루션 ‘휴넬’ 업그레이드 발표
May 9, 2025
Epicor expands AI offerings, launches new green initiative
May 9, 2025
MS도 합류··· 구글의 A2A 프로토콜, AI 에이전트 분야의 공용어 될까?
May 9, 2025
오픈AI, 아시아 4국에 데이터 레지던시 도입··· 한국 기업 데이터는 한국 서버에 저장
May 9, 2025
SAS supercharges Viya platform with AI agents, copilots, and synthetic data tools
May 8, 2025
IBM aims to set industry standard for enterprise AI with ITBench SaaS launch
May 8, 2025
Recent Posts
  • 휴먼컨설팅그룹, HR 솔루션 ‘휴넬’ 업그레이드 발표
  • Epicor expands AI offerings, launches new green initiative
  • MS도 합류··· 구글의 A2A 프로토콜, AI 에이전트 분야의 공용어 될까?
  • 오픈AI, 아시아 4국에 데이터 레지던시 도입··· 한국 기업 데이터는 한국 서버에 저장
  • SAS supercharges Viya platform with AI agents, copilots, and synthetic data tools
Recent Comments
    Archives
    • May 2025
    • April 2025
    • March 2025
    • February 2025
    • January 2025
    • December 2024
    • November 2024
    • October 2024
    • September 2024
    • August 2024
    • July 2024
    • June 2024
    • May 2024
    • April 2024
    • March 2024
    • February 2024
    • January 2024
    • December 2023
    • November 2023
    • October 2023
    • September 2023
    • August 2023
    • July 2023
    • June 2023
    • May 2023
    • April 2023
    • March 2023
    • February 2023
    • January 2023
    • December 2022
    • November 2022
    • October 2022
    • September 2022
    • August 2022
    • July 2022
    • June 2022
    • May 2022
    • April 2022
    • March 2022
    • February 2022
    • January 2022
    • December 2021
    • November 2021
    • October 2021
    • September 2021
    • August 2021
    • July 2021
    • June 2021
    • May 2021
    • April 2021
    • March 2021
    • February 2021
    • January 2021
    • December 2020
    • November 2020
    • October 2020
    • September 2020
    • August 2020
    • July 2020
    • June 2020
    • May 2020
    • April 2020
    • January 2020
    • December 2019
    • November 2019
    • October 2019
    • September 2019
    • August 2019
    • July 2019
    • June 2019
    • May 2019
    • April 2019
    • March 2019
    • February 2019
    • January 2019
    • December 2018
    • November 2018
    • October 2018
    • September 2018
    • August 2018
    • July 2018
    • June 2018
    • May 2018
    • April 2018
    • March 2018
    • February 2018
    • January 2018
    • December 2017
    • November 2017
    • October 2017
    • September 2017
    • August 2017
    • July 2017
    • June 2017
    • May 2017
    • April 2017
    • March 2017
    • February 2017
    • January 2017
    Categories
    • News
    Meta
    • Log in
    • Entries feed
    • Comments feed
    • WordPress.org
    Tiatra LLC.

    Tiatra, LLC, based in the Washington, DC metropolitan area, proudly serves federal government agencies, organizations that work with the government and other commercial businesses and organizations. Tiatra specializes in a broad range of information technology (IT) development and management services incorporating solid engineering, attention to client needs, and meeting or exceeding any security parameters required. Our small yet innovative company is structured with a full complement of the necessary technical experts, working with hands-on management, to provide a high level of service and competitive pricing for your systems and engineering requirements.

    Find us on:

    FacebookTwitterLinkedin

    Submitclear

    Tiatra, LLC
    Copyright 2016. All rights reserved.