오픈AI, AI 악용 사이버 공격 대비 나선다···‘다층 방어’ 보안 전략 강화

오픈AI는 성능이 빠르게 고도화되는 AI 모델이 위협 그룹의 손에 들어가 정교한 사이버 공격에 활용될 수 있다는 점을 우려하며 이에 대비하고 있다.

오픈AI는 블로그를 통해, 자사 모델의 높은 역량이 “강력한 방어 시스템을 대상으로 제로데이 원격 익스플로잇을 개발하거나, 기업 및 산업에 실제 영향을 미치는 복잡하고 은밀한 침투 작전을 지원하는 데 사용될 수 있다”라고 설명했다.

오픈AI에 따르면 근본적인 문제는 AI를 공격에 활용하는 것과 방어에 활용하는 것이 동일한 지식과 기술에 기반하고 있다는 점이다. 이로 인해 한쪽을 지원하면서 다른 한쪽을 동시에 차단하는 것이 쉽지 않다는 설명이다.

오픈AI는 “AI의 역량이 주로 방어적 활용에 기여하도록 하고, 악의적인 목적을 위한 성능 증폭은 제한하기 위해 안전장치에 투자하고 있다. 일회성 대응이 아닌, 방어자에게 지속적으로 우위를 제공하고 생태계 전반에서 핵심 인프라의 보안 태세를 꾸준히 강화하기 위한 장기적 투자로 보고 있다”라고 밝혔다.

이와 관련해 오픈AI가 발표한 새로운 이니셔티브가 ‘프론티어 리스크 위원회(Frontier Risk Council)’다. 오픈AI는 운영 방식에 대해서는 구체적으로 밝히지 않았지만, AI가 공격 도구로 활용될 가능성을 억제하기 위해 확대되고 있는 ‘다층 방어(defense in depth)’ 전략의 일부라고 설명했다.

오픈AI는 “위원들은 AI 기능이 보안 방어에 유용하게 쓰이는 범위와, 공격이나 오남용으로 이어질 수 있는 위험 지점을 구분하는 방안을 자문하며, 논의 결과는 모델 평가와 안전장치에 직접 반영될 것”이라며 “위원회에 대한 추가 내용은 곧 공개할 예정”이라고 밝혔다.

블로그에 언급된 다른 계획에는 오남용 방지를 위한 가드레일 확대, 모델 보안을 점검하기 위한 외부 레드팀 테스트, 방어 목적의 사용례를 검토할 수 있도록 적격 고객에게 고급 모델 접근 권한을 제공하는 신뢰 기반 접근 프로그램 등이 있다.

오픈AI는 최근 발표한 ‘아드바크 에이전틱 시큐리티 리서처(Aardvark Agentic Security Researcher)’ 스캐닝 도구 베타의 활용 범위도 넓힐 계획이다. 이를 통해 코드베이스 내 취약점을 식별하고, 패치나 완화 방안을 제안한다는 구상이다.

AI 레드팀

AI 기업이 모델 오남용을 어떻게 차단할 것인지 설명해야 한다는 압박은 점점 더 심해지고 있다. 이는 단순한 우려에 그치지 않는다. 지난달 오픈AI의 경쟁사인 앤트로픽(Anthropic)은 자사의 AI 프로그래밍 도구 ‘클로드 코드(Claude Code)’가 30개 조직을 겨냥한 사이버 공격에 사용됐다고 인정했다. 대규모로 악의적인 AI 사용례가 확인된 것은 이번이 처음이었다.

한편 미국의 대학 연구진은 최근 아르테미스(Artemis) AI 연구 플랫폼이 보안 취약점 탐지에서 침투 테스트 전문가 10명 가운데 9명을 능가하는 성과를 냈다고 보고했다. 연구진은 이 플랫폼이 사람 연구자보다 훨씬 낮은 비용으로 성과를 냈다는 점을 언급하며, 그동안 자원이 풍부한 범죄자에게만 가능했던 역량이 더 넓은 범위로 확산될 수 있다고 분석했다.

이와 동시에 방어자 역시 AI를 활용해 취약점을 찾아낼 가능성도 있다. 오픈AI는 2년 전 발표한 레드팀 네트워크를 대상으로 자사 모델을 테스트하고 있다고 언급하며 그 방어적 활용 가능성을 시사했다.

오픈AI의 이번 발표에 대한 업계 전문가의 반응은 엇갈렸다. 다만 반복적으로 제기되는 우려는 첨단 AI 모델의 악의적 사용을 근본적으로 차단하는 것이 구조적으로 어렵다는 점이다.

AI 에이전트 데브옵스 기업 조주(Jozu)의 공동 설립자이자 최고운영책임자(COO)인 제시 윌리엄스는 “오픈AI는 거부 학습을 통해 모델이 스스로 자신의 역량을 제한하도록 하고 있는데, 이는 자물쇠에게 언제 열릴지를 스스로 판단하라고 하는 것과 같다”라고 비유했다. 무엇이 유해한지에 대한 판단을 사람이 아니라 모델이 내리게 되는 구조이기 때문이다.

윌리엄스는 “핵심은 의도와 권한이지만, 모델은 프롬프트만으로 이를 구분할 수 없다. 탈옥 기법은 반복적으로 거부 학습을 무력화해 왔고, 정교한 역량을 가진 공격자는 탐지 경계를 시험하며 이를 우회할 것”이라고 지적했다. 이어 “안전장치가 일상적인 오남용은 줄일 수 있지만, 집요한 공격을 막지는 못할 것”이라고 평가했다.

또한 그는 “오픈AI의 ‘신뢰 기반 접근 프로그램’은 겉으로 보기에는 합리적으로 들리지만, 실행 방식을 들여다보면 의문이 생긴다. 과연 누가 신뢰 대상에 포함되는가? 대학 연구자인가, 방위산업체인가, 아니면 해외 보안관제센터(SOC) 분석가인가”라고 지적했다.

한편 SANS 인스티튜트의 최고 AI 책임자인 롭 리는 가드레일이 적용돼 있더라도 AI 안전을 보장할 수는 없다고 언급했다.

리는 “지난달 앤트로픽은 공격자가 가드레일이 적용된 범용 모델인 클로드 코드를 활용해 국가 지원 사이버 공격의 80~90%를 자율적으로 수행했다고 공개했다. 공격자는 작업을 무해해 보이는 요청으로 나누고, 합법적인 보안 기업인 것처럼 가장해 안전 통제를 우회했다”라고 설명했다. 이어 “그 과정에서 AI는 취약점 악용 코드를 작성하고, 자격 증명을 수집하며, 데이터를 유출했다. 사람은 사실상 감독만 했다”라고 말했다.

그는 “이것이 가드레일이 있는 모델의 현실”이라며 “만약 악의적인 목적을 극대화하고 싶다면, 안전장치가 없는 자체 모델을 띄우기만 하면 된다”라고 언급했다. 이어 “윤리 학습도, 안전 통제도, 감시도 없는 오픈 가중치 모델은 이미 충분히 존재한다. 결국 악의적인 행위자는 악의적인 도구를 사용하게 되고, 오픈AI의 안전 프레임워크는 애초에 공격할 생각이 없던 사람들만 제약할 뿐”이라고 평가했다.

하지만 모든 전문가가 비관적인 것은 아니다. 레코디드 퓨처(Recorded Future)의 위협 인텔리전스 분석가인 앨런 리스카는 AI가 초래하는 위협을 과도하게 부풀려서는 안 된다고 말했다. 리스카는 “국가 차원의 위협 행위자와 사이버 범죄자 모두 AI 활용에 대한 관심과 역량이 증가한 것은 사실이지만, 이런 위협은 모범적인 보안 관행을 따르는 조직의 대응 능력을 넘어서는 수준은 아니다”라고 설명했다.

그는 “향후에는 상황이 달라질 수 있겠지만, 현재로서는 AI를 비롯한 각종 위협을 바라볼 때 과장과 현실을 구분하는 것이 그 어느 때보다 중요하다”라고 진단했다.
dl-ciokorea@foundryco.com