LLM 신뢰해도 될까?··· “모델 절반이 ‘보안 위험’ 등급”

최근 대부분의 조직이 AI 플랫폼을 활용하고 있다. 대규모 언어 모델(LLM)은 기존 애플리케이션에 통합되거나 신규 애플리케이션에 포함돼 배포되고 있으며, 직원들이 직접 실험해 보거나 워크플로우에 도입하기 위한 도구로 선택되고 있다.

하지만 사이버보안 전문가들은 CEO의 압박이나 시장의 과장된 기대치가 있더라도 다른 애플리케이션 도입과 마찬가지로 철저한 리스크 관리 관점에서 LLM을 선택해야 한다고 경고했다.

사이버보안, AI, 프라이버시 전문가인 조셉 스타인버그는 조직에서 AI 모델을 도입할 때 리스크 분석뿐만 아니라 명확한 정책, 절차, 기술 통제도 수반돼야 한다고 말했다.

그는 “실제로는 이 3가지 중 어느 하나에도 충분한 투자를 하지 않은 조직이 대부분이며, LLM이 유발하는 보안 문제의 규모를 외면하고 있다”라고 지적했다.

스타인버그는 특히 “보안 침해 건수와 관계없이 사용자 프롬프트를 통한 데이터 유출 자체가 심각한 문제라는 점을 알아야 한다”라고 강조했다. 그는 “사용자들이 프롬프트에 무심코 개인 정보를 입력할 수 있으며, 본인은 그런 행동이 어떤 결과를 낳을지 전혀 인지하지 못하는 경우가 많다. 예컨대 한 조직의 IP 주소를 쓰는 10명이 특정 기술이나 기능 구현 방식에 대해 AI에 질문하기 시작하면, AI는 해당 조직이 그 기술을 사용하고 있으며 고급 지식은 부족하다는 사실을 학습하게 될 수 있다”라고 말했다.

“보안 리스크, 생각보다 더 크다”

최근 발표된 한 연구는 LLM이 예상보다 훨씬 높은 보안 리스크를 갖고 있다는 점을 시사했다.

사이버뉴스(Cybernews) 연구팀은 공개된 정보를 바탕으로 10개의 AI 모델을 분석한 결과, 절반인 5개 모델이 보안 리스크 평가에서 ‘B 등급 이하’, 즉 위험도가 상대적으로 높은 수준으로 나타났다고 밝혔다. 나머지 절반인 앤트로픽(Anthropic), 코히어(Cohere), 미스트랄(Mistral) 등은 위험도가 낮은 것으로 평가됐다.

반면 오픈AI(OpenAI)와 01.AI는 높은 위험도를 나타내는 D 등급을 받았으며, 인플렉션AI(Inflection AI)는 F 등급으로 평가돼 치명적인 보안 리스크를 지닌 것으로 나타났다.

연구팀은 10개 업체 중 5곳이 데이터 유출 사고를 겪은 바 있다고 밝혔다. 이 중 오픈AI는 분석 시점으로부터 불과 9일 전에도 데이터 누출 사고가 발생했으며, 총 1,140건으로 가장 많은 유출 사례를 기록했다. 퍼플렉시티AI(Perplexity AI)의 경우 13일 전 유출 사고로 190개의 기업 인증 정보가 탈취된 것으로 추정된다고 연구팀은 언급했다.

이에 대해 오픈AI 대변인은 CSO닷컴에 “AI 보안에 대한 연구를 환영하며, 사용자 보안과 프라이버시를 매우 중요하게 생각한다. 보안 프로그램의 진행 상황을 투명하게 공개하고 있으며 위협 인텔리전스 보고서를 정기적으로 발표하고 있다. 기사에 언급된 보고서를 요청했으나 접근 권한이 부여되지 않아 해당 데이터나 방법론을 평가할 수 없었다. 따라서 제기된 주장에 동의하지 않는다”라고 밝혔다.

SANS 연구소 수석 연구원 로버트 T. 리는 해당 보고서에 대해 “대부분의 LLM이 기본적인 보안 스니핑 테스트를 통과하지 못한다. D나 F 등급 평가에 매주 발생하는 유출 사고까지 고려하면, 해당 기업들이 보안을 고려하고 있지 않다는 점은 분명해 보인다”라고 지적했다.

CSO를 위한 보안 조언

리는 CSO가 LLM을 승인하기 전 다음 항목을 반드시 고려해야 한다고 말했다:

• 학습 데이터: 모델이 어디서 정보를 수집했는지 파악해야 한다. 웹 데이터를 무작위로 긁어오면 조직의 정보가 노출될 수 있다.
• 프롬프트 기록: 질문이 서버에 남아 있다면 다음 유출 사고 때 그대로 드러날 수 있다.
• 자격 증명: 도난당한 API 키나 취약한 비밀번호는 공격자에게 좋은 먹잇감이 된다. 다단계 인증(MFA)과 실시간 경보 도입이 필요하다.
• 인프라: TLS 설정이 철저한지, 패치가 제때 적용되는지, 네트워크가 완전히 격리됐는지 확인해야 한다. 미완성 설정은 공격당할 가능성이 높다.
• 접근 통제: 역할별 권한을 명확히 설정하고, 모든 AI 호출을 기록해 SIEM/DLP 시스템에 로그를 전송해야 한다. 섀도 AI는 보이지 않는 위협이다.
• 침해 사고 대응 훈련: 침해 사실을 즉시 통지하도록 요구하고, API 키 유출이나 프롬프트 삽입 공격 상황을 시뮬레이션해 실제 상황에 대비해야 한다.

리는 “LLM은 은행 금고를 지키듯이 다뤄야 한다”라며 “과장된 기대는 잊고, 미션 크리티컬 시스템과 동일하게 엄격한 검증을 거쳐야 한다. 그렇게 하면 AI의 장점을 누리면서도 백도어를 활짝 열어두는 실수는 피할 수 있다”라고 조언했다.
dl-ciokorea@foundryco.com