“통제 밖으로 번지는 생성형 AI··· CISO 대응 한계 드러나” 팔로알토네트웍스 조사

팔로알토네트웍스(Palo Alto Networks)의 새로운 조사에 따르면, 모든 조직의 직원들이 평균적으로 6.6개의 고위험 생성형 AI 애플리케이션을 사용하고 있는 것으로 나타났다. 이 가운데 일부는 최고정보보안책임자(CISO)조차 존재를 모르는 경우도 포함돼 있다.

사이버보안 및 AI 전문가 조셉 스타인버그는 이 수치조차 현실을 과소평가한 것이라고 지적했다. 그는 “실제로는 더 심각할 것”이라며 “대규모 기업에서는 이보다 훨씬 많은 수의 생성AI 앱이 사용되고 있을 것”이라고 설명했다. 나아가 이러한 위험 앱의 수는 앞으로 더욱 증가할 것으로 내다봤다.

스타인버그는 CISO에게 직원들이 사용하는 모든 생성형AI 앱에 대한 위험 평가를 실시하고, 이에 따라 정책과 절차를 수립해야 한다고 강조했다. 이어 “직원들이 사무실이든 집이든 생성형AI를 그림자 IT 형태로 사용하는 것을 방치하거나 오히려 장려하는 ‘타조 알고리즘’을 따라서는 안 된다”라고 경고했다. 여기서 말하는 ‘타조 알고리즘’은 위협이 닥쳤을 때 타조가 머리를 모래 속에 파묻는다는 속설에서 유래한 비유적 표현으로, 보안 리스크를 외면하거나 존재하지 않는 것처럼 행동하는 조직의 태도를 지적한 것이다.

그는 “생성형 AI 앱이 조직에 심각한 문제를 일으킬 수 있는 방식으로 다량 사용되고 있는 것은 명백한 사실”이라며 “회사 통제 밖의 개인 컴퓨터로 생성형AI를 사용할 경우, 단순한 질문을 통해서도 대량의 데이터가 유출될 수 있다. 문제는 질문뿐만 아니라 다른 사용자의 질문 패턴도 AI가 학습하기 때문”이라고 설명했다. 이어 “이는 조직이 완전히 통제하기 어렵다. 누구나 개인 시간에, 개인 기기에서 AI를 사용할 수 있기 때문”이라고 덧붙였다.

조직이 의도하든 아니든 승인되지 않은 생성형AI 앱을 사용하는 직원을 오히려 보상하는 경우도 있다고 그는 지적했다. 예컨대, 품질이 지나치게 뛰어난 보고서를 칭찬하는 경우가 그렇다. 그는 “솔직히 말해, 생성형AI 사용을 금지하는 많은 기업조차 실제로는 이를 사용하는 직원을 보상하고 있다”며 “성과 기반 평가를 받을 때 그림자 IT나 개인 기기를 이용한 생성형AI 활용으로 성과가 향상되는데 처벌이 없다면, 사용을 멈출 이유가 없다”고 말했다.

그가 언급한 이 조사는 팔로알토네트웍스가 발표한 생성형AI 트렌드 보고서로, 2024년 한 해 동안 7,000여 고객사의 트래픽 로그를 분석해 생성형AI 애플리케이션 사용 현황을 집계했다. 조사 대상에는 챗GPT(ChatGPT), 마이크로소프트 코파일럿(Microsoft Copilot), 아마존 베드록(Amazon Bedrock) 등 다양한 SaaS형 생성형AI 앱이 포함됐으며, 2025년 1분기 고객의 데이터 유출 방지(DLP) 사례에 대한 익명 분석도 함께 진행됐다.

보고서에 따르면 다음과 같은 사실이 드러났다.

• 대부분의 조직은 평균적으로 66개의 생성형AI 앱을 사용하고 있으며, 이 가운데 ‘글쓰기 보조’ 앱이 34%로 가장 많았다. 대표 사례는 그래머리(Grammarly)였다. 이어 ‘대화형 에이전트'(코파일럿, 챗GPT, 구글 제미니 등)가 약 29%, ‘엔터프라이즈 검색’ 앱과 ‘개발자 플랫폼’ 앱이 각각 약 10% 비중을 차지했다. 이 네 카테고리만으로 전체 생성형AI 앱의 84%를 구성했다.
• 전체 생성형AI 앱 중 10%는 고객사가 특정 시점에 접근을 제한하거나 차단했던 이력이 있는 ‘고위험’ 앱으로 분류됐다.
• 2025년 들어 발생한 생성형AI 관련 데이터 유출 방지 사건 수는 전년 대비 두 배 이상 증가했다.

보고서는 “글쓰기 보조 도구도 결코 가볍게 볼 수 없다”며 “적절한 보안 통제 없이 조직 시스템에 통합될 경우, 사이버 공격 경로로 악용될 수 있다”고 경고했다. 이어 “해커가 생성형AI의 취약점을 이용해 내부 시스템이나 민감 데이터를 침해할 수 있다”고 덧붙였다.

보고서는 생성형AI 확산에 따른 위험이 증가하고 있으며, 기업이 이들 앱과 관련 생태계를 명확히 인지하지 못할 경우, 민감 데이터 노출, 규제 위반, 지식재산 통제 상실로 이어질 수 있다고 분석했다. 이에 따라 “AI 상호작용에 대한 모니터링은 더 이상 선택이 아니라 필수”라며 “그림자 AI 채택을 막고 보안 정책을 시행하며 책임 있는 AI 활용을 위한 기반이 된다”고 강조했다.

팔로알토네트웍스는 보고서엣 CISO를 위한 생성형AI 보안 모범 사례로 다음 세 가지를 제시했다.

• 조직 내 생성AI 사용 현황과 허용 범위를 파악하고, 사용자·그룹·위치·앱 위험도·기기 준수 여부·업무 적절성에 따라 접근을 제어하는 조건부 접근 관리 체계를 마련할 것
• 인프라 전반과 데이터 보안 워크플로우에 걸쳐 중앙 정책으로 실시간 콘텐츠 검사를 수행하고, 민감 데이터에 대한 무단 접근 및 유출을 차단할 것
• AI 응답에 숨어 있는 고도화된 악성코드나 위협을 식별하고 차단할 수 있도록 제로 트러스트 보안 체계를 활용할 것

dl-ciokorea@foundryco.com