칼럼 | 현직 CISO들이 전한 ‘기업 AI 보안’의 5단계 가이드

챗GPT(ChatGPT)가 처음 등장했을 당시, 필자는 여러 명의 CISO에게 이 기술이 자사 사이버보안 프로그램에 어떤 의미를 가질지 물었다. CISO들은 변화의 조짐을 인식하면서도, 과거 아이팟(iPod), 와이파이(Wi-Fi) 액세스 포인트, SaaS 애플리케이션 등 기존 업무 환경을 뒤흔든 기술들을 떠올렸다. 이들은 보안 AI 역시 유사한 변화를 초래할 것이라고 내다보며 AI 보안 요구 사항의 80% 이상은 이미 갖춰져 있다고 의견을 모았다. 강력한 자산 인벤토리, 데이터 보안, ID 거버넌스, 취약점 관리와 같은 기본 요소가 AI 사이버보안의 기반이 될 것이라고 진단했다.

2025년 현재, CISO들의 예상은 절반만 맞았다. 강력하고 포괄적인 기업 보안 프로그램이 AI 보안의 중심축 역할을 한다는 점은 분명하다. 하지만 나머지는 초기 예상보다 훨씬 까다로운 과제가 됐다. AI 애플리케이션은 공격 표면을 급격히 확장시키고 있으며, 그 범위는 서드파티 파트너는 물론 소프트웨어 공급망의 깊숙한 곳까지 이어지고 있다. 이로 인해 가시성이 제한되고 사각지대가 발생하고 있다. AI는 대체로 오픈소스와 API 연결성을 기반으로 하기에 조직 내 곳곳에서 섀도우 AI 활동이 나타날 가능성도 크다. 또한 AI 기술 혁신 속도가 매우 빠르기 때문에 이미 과중한 업무에 시달리는 보안팀이 따라잡기 어려운 상황이다.

기술적인 측면 외에도, 많은 AI 프로젝트가 실패로 끝난다는 점을 주목할 만하다. S&P 글로벌 마켓 인텔리전스(S&P Global Market Intelligence)의 조사에 따르면, 2025년에는 전체 기업의 42%가 대부분의 AI 이니셔티브를 중단한 것으로 나타났다. 이는 2024년의 17%와 비교해 큰 폭으로 증가한 수치다. 또한 기업의 46%는 AI PoC(개념 증명) 단계에서 생산 환경으로 넘어가지 못한 채 프로젝트를 중단하고 있는 것으로 나타났다.

AI 프로젝트가 잇달아 실패하는 이유는 무엇일까? 업계 조사에 따르면 비용, 낮은 데이터 품질, 거버넌스 부재, 인재 부족, 확장성 문제 등이 주요 원인으로 지목됐다.

프로젝트 실패와 다양한 보안 문제가 맞물리면서, 기업이 혁신성과 보안을 갖춘 견고한 AI 전략을 마련하기 위해 해결해야 할 과제도 늘어나고 있다. 최근 대화에서 CISO들이 공통적으로 강조한 5가지 우선순위는 다음과 같다.

1. 강력한 거버넌스 모델로 시작

명확히 말하자면, 여기서 말하는 거버넌스는 기술이나 보안만의 문제가 아니다. AI 거버넌스 모델은 비즈니스와 기술 조직 간의 의견을 일치하는 데서 출발해야 한다. AI가 어떻게, 어디에서 조직의 목표를 지원할 수 있을지를 함께 고민해야 한다.

이를 위해 CISO는 CIO와 협력해 비즈니스 리더뿐 아니라 법무, 재무 등 다양한 부서를 이끌고, 비즈니스 요구 사항과 기술 역량을 모두 충족하는 AI 프레임워크를 수립해야 한다. 이 프레임워크는 아이디어 기획에서 운영까지 전 수명 주기를 포괄해야 하며, 윤리적 고려 사항, 허용 가능한 사용 정책, 투명성, 규제 준수, 그리고 무엇보다 성과 지표를 포함해야 한다.

이 과정에서 CISO는 NIST AI 리스크 관리 프레임워크, ISO/IEC 42001:2023, 유네스코의 AI 윤리 권고안, 그리고 록사이버(RockCyber)가 제시한 RISE(연구, 구현, 유지, 평가), CARE(생성, 채택, 운영, 진화)와 같은 기존 프레임워크를 검토해야 한다. 조직은 자사에 맞는 ‘최적의’ 거버넌스 모델을 직접 개발해야 할 수도 있다.

2. AI 리스크를 종합적이고 지속적으로 파악

조직의 AI 리스크를 체계적으로 관리하려면, 먼저 AI 자산 인벤토리, 소프트웨어 자재명세서(SBOM), 취약점 및 노출 관리 모범 사례, AI 리스크 목록 등 기본 사항을 갖출 필요가 있다. 여기에 더해, CISO와 보안 전문가는 모델 오염(model poisoning), 데이터 추론, 프롬프트 주입 등 AI 고유의 위협 요소에 대한 이해도 높여야 한다. 위협 분석가는 AI 공격에 사용되는 최신 전술, 기법, 절차(TTPs)에 지속적으로 주목해야 한다. 마이터 아틀라스(MITRE ATLAS)는 이와 관련해 유용한 자료를 제공하고 있다.

AI 애플리케이션이 서드파티로 확장됨에 따라, CISO는 서드파티 데이터, AI 보안 통제, 공급망 보안 등에 대한 맞춤형 감사 체계도 갖춰야 한다. 또한 AI 관련 규제가 계속 등장하고 자주 변화하는 만큼 면밀한 주의가 필요하다. 현재까지 가장 포괄적인 규제는 EU AI 법안으로, 안전성, 투명성, 비차별성, 환경 친화성을 핵심 원칙으로 삼고 있다. 미국 콜로라도주의 AI 법(CAIA) 등은 소비자 반응, 기업 경험, 판례법의 변화에 따라 빠르게 변동될 가능성이 있다. CISO는 이 외에도 다른 주 정부, 연방, 지역, 산업별 AI 규제의 등장을 미리 예측하고 준비해야 한다.

3. 변화하는 데이터 무결성 개념에 주목

사이버보안의 3대 요소인 CIA(기밀성, 무결성, 가용성)를 떠올리면, 데이터의 무결성은 특히 중요해 보인다. 하지만 정보보안 업계에서는 그동안 무결성을 무단 수정이나 데이터 일관성 유지 관점에서만 다뤄왔다. 이런 보호 조치는 여전히 필요하지만, 이제는 AI 모델 자체의 데이터 무결성과 진위성으로 시야를 넓혀야 할 때다.

이를 뒷받침하는 몇 가지 데이터 모델 오류 사례가 있다. 아마존은 이력서를 선별하고 적합한 인재를 찾기 위해 AI 기반 채용 도구를 개발한 바 있지만, 해당 모델은 남성 중심의 데이터로 학습돼 여성 지원자에게 차별적인 판단을 내렸다. 영국 정부도 여권 사진을 판별하는 애플리케이션을 만들었지만, 백인 데이터를 중심으로 학습된 탓에 다른 인종에 대한 차별이 발생했다.

AI 모델의 진위성 검증이 CISSP 자격증 커리큘럼에 포함되는 내용은 아니나, CISO는 이를 AI 거버넌스의 핵심 과제로 인식하고 적극적으로 대응해야 한다.

4. 조직 전체의 AI 리터러시 제고

AI는 이제 모든 직원, 파트너, 고객이 사용하는 기술이다. 따라서 AI 리터러시(AI 이해 및 활용 능력)는 조직의 최우선 과제가 돼야 한다. CISO는 먼저 보안팀을 대상으로 AI의 기본 개념과 원리에 대한 교육을 시작해야 한다.

기존의 보안 중심 소프트웨어 개발 주기(SSDLC)는 AI 위협 모델링, 데이터 처리, API 보안 등 항목을 포함하도록 개정해야 한다. 개발자에게는 대규모 언어 모델(LLM)을 위한 OWASP 톱 10, 구글의 안전한 AI 프레임워크(SAIF), 클라우드 보안 연합(CSA) 지침 등을 중심으로 AI 개발 모범사례 교육을 지원해야 한다.

최종 사용자에게는 허용 가능한 AI 사용 범위, 데이터 처리 방식, 허위정보 식별, 딥페이크 식별 등 실용적인 교육이 제공돼야 한다. 마임캐스트(Mimecast)와 같은 HRM(human risk management) 솔루션을 활용하면 직무와 개인 특성에 맞는 AI 위협 대응 교육을 제공할 수 있다.

5. AI 사이버보안 기술에 신중하면서도 낙관적으로 접근

현재의 AI 보안 기술은 자율주행이라기보다는 ‘크루즈 컨트롤’ 같은 운전자 보조 수준에 가깝다. 그럼에도 불구하고 기술은 빠른 속도로 발전하고 있다.

CISO는 팀원에게 경고 분류, 위협 헌팅, 리스크 점수화, 보고서 작성 등 AI가 보조할 수 있는 영역을 파악하도록 요청해야 하며, 이후 해당 영역의 최신 보안 혁신 기술을 조사하고 검토해야 한다.

이와 동시에, 보안 리더는 주요 보안 기술 파트너들과의 전략 회의를 주기적으로 계획해야 한다. 이 자리에서는 막연히 프레젠테이션을 듣는 데 그치지 않고, 조직이 실제로 필요로 하는 기술과 기능을 중심으로 구체적인 논의를 이끌어내야 한다. 특히 AI가 기존 기술의 조정과 최적화에 어떻게 활용되는지를 직접 물어보는 것이 중요하다. 현재 혁신이 활발히 이뤄지고 있는 만큼 기존 벤더, 경쟁사, 스타트업 전반에 걸쳐 폭넓게 탐색할 필요가 있다.

단, 주의할 사항도 있다. 현재까지 출시된 많은 AI 제품이 사실상 기능 수준에 불과하며, AI 애플리케이션 개발과 운영에는 막대한 리소스와 비용이 들어간다는 점이다. 따라서 일부 스타트업은 인수되고 일부는 빠르게 실패할 수 있다. ‘소비자 책임주의’를 명심해야 한다.

다가올 기회

하나의 예측으로 글을 마무리하고자 한다. 현재 약 70%의 기업은 CISO가 CIO에게 보고하는 구조를 갖고 있다. 그러나 AI가 확산됨에 따라 CISO의 보고 체계는 빠르게 바뀌어, 앞으로는 더 많은 CISO가 CEO에게 직접 보고하게 될 가능성이 높다. 이는 AI 비즈니스 및 기술 거버넌스에서 주도권을 잡은 CISO가 더 빠르게 승진 기회를 얻는다는 의미일 수 있다.
dl-ciokorea@foundryco.com