AI가 바꾼 공격 지형···기업 인프라를 겨냥한 신종 위협과 보안 전략

AI 시스템과 인프라를 겨냥한 공격은 실제 사례를 통해 점차 구체적인 형태를 띠고 있으며, 보안 전문가들은 향후 몇 년 안에 이러한 공격 유형이 더욱 증가할 것으로 내다보고 있다. AI 도입을 통해 빠르게 성과를 내려는 과정에서, 대부분의 조직은 AI 도구와 활용 사례를 배포하면서 보안 강화를 느슨하게 적용해 왔다. 그 결과, 상당수 조직이 이러한 공격을 탐지하거나 차단하고, 사고 발생 시 대응할 준비가 되어 있지 않다는 경고도 나온다.

미국 사우스플로리다대학교 벨리니 인공지능·사이버보안·컴퓨팅 칼리지의 부교수이자 스타트업 액추얼라이제이션AI의 대표인 존 리카토는 “대부분 이런 공격이 가능하다는 점은 인식하고 있지만, 위험을 어떻게 적절히 완화해야 하는지까지 충분히 이해하고 있는 경우는 많지 않다”라고 설명했다.

AI 시스템을 겨냥한 주요 위협

AI 시스템을 대상으로 한 공격 유형이 다양하게 등장하고 있다. 데이터 중독처럼 학습 단계에서 발생하는 공격이 있는가 하면, 적대적 입력과 같이 추론 단계에서 이뤄지는 공격도 있다. 이 밖에도 모델 탈취처럼 배포 단계에서 발생하는 공격 유형도 존재한다.

다음은 현재 AI 인프라와 관련해 전문가들이 경고하는 주요 위협 유형을 정리한 것이다. 일부는 비교적 드물거나 이론적 단계에 머물러 있지만, 상당수는 실제 환경에서 관측됐거나 연구자들이 주목할 만한 개념 증명을 통해 가능성을 입증한 사례다.

데이터 중독

데이터 중독(Data Poisoning)은 악의적인 공격자가 머신러닝 모델을 포함한 AI 시스템을 개발하거나 학습하는 데 사용되는 데이터를 조작·변조·오염시키는 공격 유형이다. 데이터를 손상시키거나 잘못된 데이터를 주입함으로써 모델의 성능을 왜곡하거나 편향시키고, 결과적으로 부정확한 판단을 내리도록 만들 수 있다.

보안 교육 및 자격 인증 기관 샌스(SANS)의 최고 AI 책임자(CAIO) 겸 연구 총괄인 로버트 T. 리는 “예를 들어, 초록색은 ‘가라’가 아니라 ‘멈춰라’라는 의미라고 모델에 학습시키는 공격을 상상해볼 수 있다”라며 “모델의 출력 결과 자체를 저하시키는 것이 목적”이라고 설명했다.

모델 중독

모델 중독(Model poisoning)은 데이터가 아니라 모델 자체를 직접 공격 대상으로 삼는다. 모델의 구조나 파라미터를 변조해 부정확한 결과가 나오도록 유도하는 방식이다. 일부 정의에서는 데이터 중독으로 인해 학습 데이터가 손상된 경우까지 모델 중독의 범주에 포함하기도 한다.

툴 중독

툴 중독(Tool poisoning)은 2025년 봄 인베리언트 랩스(Invariant Labs)가 식별한 공격 유형이다. 인베리언트는 자체 연구 결과를 공유하며 “툴 중독 공격을 가능하게 하는 모델 컨텍스트 프로토콜(MCP)의 심각한 취약점을 발견했다”라며 “이 취약점은 민감한 데이터 유출과 AI 모델의 비인가 행위로 이어질 수 있다”라고 밝혔다.

또한 실험 결과를 통해 “악성 서버가 사용자로부터 민감한 데이터를 유출할 수 있을 뿐 아니라, 신뢰된 다른 서버가 제공한 지침을 덮어쓰고 에이전트의 행동을 탈취해, 신뢰된 인프라를 포함한 에이전트 기능 전반을 완전히 장악할 수 있다”는 점을 확인했다고 설명했다.

이 공격은 MCP 툴 설명 안에 악성 지시를 삽입하는 방식으로 이뤄진다. AI 모델이 이를 해석하는 과정에서 모델의 동작이 탈취된다. 컨설팅 기업 컨스텔레이션 리서치(Constellation Research)의 부사장 겸 수석 애널리스트 치락 메타는 “에이전트가 특정 행동을 하도록 속이기 위해 MCP 계층 자체를 오염시키는 공격”이라고 설명했다.

• 관련 기사 : AI 통합의 숨은 위협, MCP의 10가지 보안 위험

프롬프트 인젝션

프롬프트 인젝션(Prompt injection) 공격은 겉보기에는 정상적인 요청처럼 보이지만, 실제로는 대규모 언어 모델이 수행해서는 안 되는 행동을 하도록 유도하는 악성 명령을 포함한 프롬프트를 사용하는 방식이다. 공격자는 이를 통해 모델의 가드레일을 우회하거나 무력화하고, 민감한 데이터를 노출시키거나 비인가 작업을 수행하게 만든다.

글로벌 컨설팅 기업 더커 칼라일(Ducker Carlisle)의 최고 데이터·AI 책임자 파비앙 크로스는 “프롬프트 인젝션을 활용하면 AI 에이전트가 원래 수행해야 할 역할 자체를 바꿀 수 있다”라고 설명했다.

최근에는 챗GPT가 스스로 프롬프트 인젝션을 하도록 유도한 사례를 비롯해, 문서 매크로에 악성 프롬프트를 삽입한 공격, 인기 AI 에이전트를 대상으로 한 제로 클릭 프롬프트 공격 시연 등 여러 주목할 만한 사례와 개념 증명이 잇따라 보고되고 있다.

적대적 입력

모델 소유자와 운영자는 변형된 데이터를 활용해 모델의 복원력을 점검하지만, 공격자는 이를 교란 수단으로 사용한다. 적대적 입력(Adversarial inputs) 공격은 악의적인 행위자가 모델에 기만적인 데이터를 입력해 잘못된 결과를 출력하도록 유도하는 방식이다.

이때 입력 데이터의 변화는 대체로 매우 미세하거나 단순한 노이즈 수준에 그친다. 보안 시스템의 탐지를 피할 만큼 눈에 띄지 않도록 설계되지만, 동시에 모델의 판단을 흐트러뜨릴 수 있을 정도로 효과를 발휘한다. 이런 특성 때문에 적대적 입력은 대표적인 회피 공격 유형으로 분류된다.

모델 탈취·모델 추출

악의적인 공격자는 모델과 그 파라미터, 나아가 학습 데이터까지 복제하거나 역설계할 수 있다. 일반적으로 공개된 API, 예를 들어 모델의 예측 API나 클라우드 서비스 API를 반복적으로 호출해 출력 결과를 수집하는 방식이 활용된다.

이후 모델이 어떻게 응답하는지를 분석하고, 그 결과를 바탕으로 모델을 재구성한다. 글로벌 컨설팅 기업 PwC의 글로벌 위협 인텔리전스 아메리카 총괄인 앨리슨 위코프는 “도구 자체를 비인가 상태로 복제할 수 있게 만드는 공격”이라고 설명했다.

모델 역추론

모델 역추론은 특정한 추출 공격의 한 형태로, 공격자가 모델 학습에 사용된 데이터를 재구성하거나 추론하려는 시도를 의미한다.

해커가 모델의 출력 결과를 활용해 학습에 사용된 입력 정보를 거꾸로 추정한다는 점에서 이런 이름이 붙었다. 이를 통해 학습 데이터에 포함된 정보가 노출될 수 있다.

공급망 위험

AI 시스템은 오픈소스 코드와 오픈소스 모델, 서드파티 모델, 다양한 데이터 소스 등 여러 구성 요소를 결합해 만들어진다. 이 가운데 어느 하나라도 보안 취약점이 존재하면, 그 영향은 AI 시스템 전반으로 확산될 수 있다.

이로 인해 AI 시스템은 공급망 공격에 취약하다. 공격자는 구성 요소 내부의 취약점을 악용해 전체 시스템을 침해할 수 있다.

• 관련 기사 : AI supply chain threats loom — as security practices lag

탈옥

모델 탈옥(Jailbreaking)이라고도 불리는 이 공격의 목적은, 주로 대규모 언어 모델과의 상호작용을 통해 AI 시스템의 행동과 출력을 제한하는 가드레일을 무시하도록 만드는 데 있다. 여기에는 유해하거나 공격적이거나 비윤리적인 결과를 막기 위한 각종 보호 장치가 포함된다.

해커는 이 같은 공격을 수행하기 위해 다양한 기법을 활용한다. 예를 들어 역할극 공격을 사용해, AI가 개발자와 같은 특정 인물을 연기하도록 지시함으로써 가드레일을 우회하게 만들 수 있다. 정상적인 요청처럼 보이는 프롬프트 안에 악성 지시를 숨기거나, 인코딩·외국어·특수 문자 등을 활용해 필터를 회피하는 방식도 있다. 가상의 상황이나 연구 질문 형태로 프롬프트를 구성하거나, 여러 단계의 질문을 통해 최종 목표에 도달하도록 유도하는 방법도 사용된다.

이러한 공격의 목적은 다양하며, AI 시스템이 악성 코드를 작성하게 하거나, 문제가 될 수 있는 콘텐츠를 확산시키거나, 민감한 데이터를 노출하도록 만드는 경우가 포함된다.

리카토는 “채팅 인터페이스가 존재하는 한, 이를 이용해 시스템이 설정된 범위를 벗어나도록 작동하게 만드는 방식은 존재한다”라며 “점점 더 강력한 추론 시스템을 갖게 되면서 감수해야 하는 트레이드오프”라고 설명했다.

AI 시스템 위협에 대응하기

경영진이 생산성과 혁신을 이유로 AI 이니셔티브에 속도를 내는 상황에서, 최고정보보안책임자(CISO)는 해당 프로젝트와 조직 전반의 AI 인프라 보안을 최우선 과제로 삼아야 한다.

보안 기술 기업 해커원(HackerOne)의 설문조사에 따르면, CISO의 84%가 현재 AI 보안을 담당하고 있으며, 82%는 데이터 프라이버시까지 관할하고 있다. CISO가 AI 시스템과 이를 학습시키는 데이터를 겨냥한 공격에 대응하는 보안 전략을 발전시키지 못할 경우, 향후 발생하는 문제는 AI 이니셔티브 기획·출범 과정에 참여했는지와 관계없이 CISO의 리더십에 대한 책임으로 이어질 수 있다.

이와 관련해 컨스텔레이션 리서치의 메타는 “선제적인 AI 보안 전략이 필요하다”라고 진단했다.

컨스텔레이션 리서치의 보고서 ‘전통적 사이버 방어를 넘어선 AI 보안: AI와 자율성 시대를 위한 사이버보안 재구상’에서 수석 애널리스트 치락 메타는 “AI 보안은 단순한 기술적 과제가 아니라, 경영진의 전폭적인 지지와 부서 간 협력이 요구되는 전략적 과제”라며 “데이터 거버넌스는 AI 보안의 출발점으로, 학습 데이터와 모델 입력의 무결성과 출처를 보장하는 것이 핵심”이라고 설명했다. 이어 “보안 팀은 AI 기반 위험을 다루기 위한 새로운 전문성을 확보해야 하며, 비즈니스 리더는 자율형 AI 시스템이 갖는 영향과 이를 책임감 있게 관리하기 위한 거버넌스 체계를 인식해야 한다”라고 밝혔다.

AI 시스템 공격을 평가·관리·대응하기 위한 전략도 점차 구체화되고 있다. 강력한 데이터 거버넌스를 유지하는 것과 함께, 전문가들은 AI 모델을 배포 전에 점검하고, 운영 중인 AI 시스템을 지속적으로 모니터링하며, 레드팀을 활용해 모델을 시험할 필요가 있다고 조언한다.

PwC의 위코프는 “특정 공격 유형에 대응하기 위해 CISO가 별도의 조치를 취해야 할 수도 있다”라고 설명했다. 예를 들어 모델 탈취를 사전에 차단하려는 경우, 의심스러운 쿼리와 패턴을 모니터링하고 응답 속도를 제한하거나 타임아웃을 설정하는 방식이 활용될 수 있다. 회피 공격을 줄이기 위해서는 적대적 학습, 즉 해당 공격 유형에 대비하도록 모델을 학습시키는 접근도 고려할 수 있다.

MITRE ATLAS 도입도 하나의 방안으로 제시된다. 인공지능 시스템을 겨냥한 적대적 위협 지형(Adversarial Threat Landscape for Artificial-Intelligence Systems)의 약자인 이 프레임워크는 공격자가 AI 시스템을 어떻게 노리는지를 체계적으로 정리하고, 전술·기법·절차(TTP)를 식별할 수 있는 지식 기반을 제공한다.

보안 및 AI 전문가들은 이러한 조치를 실행하는 데 현실적인 어려움이 따른다는 점도 인정한다. 많은 CISO가 섀도 AI 문제나, 공격자가 AI를 활용하면서 더 빠르고 정교해진 기존 사이버 공격에 우선 대응해야 하는 상황에 놓여 있다. 여기에 더해, AI 시스템을 겨냥한 공격이 아직 초기 단계에 머물러 있고 일부는 여전히 이론적 수준으로 평가된다는 점도, 관련 전략과 역량을 확보하기 위한 자원 배분을 어렵게 만드는 요인이다.

샌스의 리는 “CISO 입장에서 AI 백엔드를 겨냥한 공격은 아직 연구가 진행 중인 영역이어서 매우 까다롭다”라며 “우리는 해커가 무엇을 하고 있으며, 그 이유가 무엇인지를 파악하는 초기 단계에 있다”라고 설명했다.

리와 다른 전문가들은 조직이 AI 경쟁에서 뒤처지지 않으려는 압박을 받고 있다는 점을 이해하면서도, AI 시스템 보안을 사후 과제로 밀어서는 안 된다고 강조한다.

PwC 사이버·리스크 혁신 연구소를 이끄는 맷 고햄은 “인프라를 구축하는 과정에서 어떤 형태의 공격이 가능할지를 함께 고민하는 것이 CISO에게 핵심 과제”라고 언급했다.
dl-ciokorea@foundryco.com