효과적인 AI GRC 프레임워크 수립법

기업에 인공지능을 도입하면 사이버보안, 데이터 프라이버시, 편향 및 차별, 윤리, 규제 준수 등 다양한 영역에서 위험이 발생한다. 이런 이유로 AI에 특화된 GRC(Governance, Risk, and Compliance) 프레임워크를 구축한 기업이 AI 기술의 가치를 극대화하고 위험을 최소화하며, 책임 있고 윤리적인 활용을 보장할 수 있다.

대다수 기업은 이 영역에서 아직 갈 길이 멀다. 레노버와 IDC가 전 세계 IT 및 비즈니스 의사결정권자 2,920명을 대상으로 실시한 설문조사에 따르면, 전사 차원의 AI GRC 정책을 전면 시행하고 있는 기업은 24%에 불과했다.

기업용 소프트웨어 솔루션 업체 칼데로스(Kalderos)의 CISO 짐 헌더머는 “아직 AI를 위한 GRC 계획을 수립하지 않았다면 이를 최우선 과제로 삼아야 한다”라고 말했다. 헌더머는 생성형 AI가 “오늘날 기업 전반에서 직원들이 이용할 수 있는 범용 자원”라며, “기업은 데이터 유출, 기밀이나 민감한 정보가 공개 AI 학습 모델에 노출되는 상황, 혹은 잘못되거나 부정확한 응답을 생성하는 환각 현상 등의 위험으로부터 조직을 보호할 수 있도록 직원에게 지침과 교육을 제공해야 한다”라고 강조했다.

최근 보고서에 따르면, 직원이 사용하는 생성형 AI 프롬프트 12건 중 1건꼴로 민감한 회사 데이터를 포함하고 있으며, 승인된 AI 옵션을 제공하면서도 섀도우 AI의 데이터 위험을 통제하지 못하는 실정이다.

데이터 앤 트러스트 연합(Data and Trust Alliance)의 정책 책임자 크리스티나 포드나르 기업은 AI를 기존 GRC 프레임워크, 정책, 표준에 통합해야 하며, 이 모든 것의 중심에는 데이터가 있다고 지적했다. 이 단체는 데이터와 AI의 책임 있는 활용을 촉진하기 위해 주요 기업의 비즈니스 및 IT 임원으로 구성된 컨소시엄이다. 포드나르는 “AI 시스템이 점점 더 광범위하고 강력해짐에 따라, 기업이 이런 리스크를 인식하고 대응하는 것이 필수적”이라고 덧붙였다.

특히 AI는 기존 GRC 프레임워크가 완전히 다루지 못하는 알고리즘 편향, 투명성 부족, AI 결정의 책임 문제 등의 위험을 수반하므로, 이에 대비할 수 있는 AI 전용 GRC 프레임워크가 필요하다. AI 기술, 데이터 프라이버시, 사이버보안 전문 법률회사인 CM 로(CM Law)의 공동 설립 파트너 헤더 클라우슨 하우기언은 “AI GRC 프레임워크는 보안 취약점(AI 시스템이 조작되거나 데이터 유출에 노출될 가능성)이나 운영 실패(AI 오류가 심각한 비즈니스 중단이나 평판 훼손으로 이어질 수 있는 상황) 등 다양한 위험을 완화하는 데도 도움이 된다”고 설명했다. 예를 들어, 금융 AI 시스템이 잘못된 결정을 내릴 경우 대규모 금융 손실이 발생할 수 있다. 또한 전 세계적으로 AI 관련 법률이 속속 등장하고 있으며, 이는 기업이 데이터 프라이버시, 모델의 투명성, 비차별성을 확보해 컴플라이언스를 유지해야 함을 의미한다. 하우기언은 “AI GRC 계획은 규제 집행에 뒤늦게 반응하는 것이 아니라 선제적으로 대응할 수 있도록 돕는다”고 강조했다.

현재와 미래의 해결 과제

IT 및 비즈니스 리더는 AI GRC 프레임워크를 구축하고 유지하는 것이 쉽지 않다는 거을 알아야 한다. 하우기언은 “변호사로서 우리는 고객에게 AI GRC 정책이나 프레임워크에 포함해야 할 내용을 조언할 수 있지만, 기업이 이런 정책을 수립하는 과정에서뿐만 아니라 실행하는 과정에서 직면할 과제를 이해하도록 돕는 조언도 함께 제공해야 한다”라고 강조했다.

예를 들어, AI 기술의 발전이 매우 빠르게 진행되고 있어 정책을 작성하는 것뿐 아니라 AI GRC 정책을 최신 상태로 유지하는 것도 과제다. 하우기언은 “AI GRC 정책이 지나치게 엄격하면 혁신을 방해할 수도 있고, 기업 내 특정 그룹이 정책을 우회하거나 아예 무시하는 방법을 찾을 것”이라고 설명했다.

CIO는 생성형 AI가 등장한 이후로 이런 섀도우 AI 사용에 맞서 싸우고 있다. 효과적이고 기업에 특화된 AI GRC 전략을 수립하는 것이 섀도우 AI를 방지하는 가장 좋은 방법이다. 기업은 AI GRC 계획을 어떻게 수립해야 하고, 그 계획에는 무엇이 포함되어야 할까? 전문가들이 제안하는 요소를 알아본다.

책임감 있는 거버넌스 구조

대부분 기업은 포드나르가 지적하듯 AI를 위한 명확한 거버넌스 구조를 수립하지 못했다. 포드나르는 “기존 GRC 계획/프레임워크를 평가하고 AI를 기반으로 확장하거나 수정할 수 있는지 여부를 판단하는 것이 모든 기업의 첫 번째 고려 사항이라야 한다”라고 강조했다.

명확한 역할과 책임이 없으면, 예를 들어 어떤 결정이 누구의 책임인지가 불분명할 경우, 기업은 조직의 위험은 AI 배포와 일치하지 않게 되며, 결과적으로 브랜드 또는 평판 위험, 규제 위반, AI가 제공하는 기회를 활용하지 못하는 문제가 발생할 수 있다. 포드나르는 “기업이 책임과 위임된 권한을 어디에 둘 것인지는 기업과 그 문화에 따라 다르다. 전 세계에 옳거나 틀린 답은 없지만, 특정 기업에 옳은 답과 틀린 답이 있다”라고 덧붙였다.

하우기언은 AI GRC 프레임워크에 정책 통제 및 책임성을 통합하는 것은 “AI 거버넌스의 역할과 책임을 정의하고 정책 집행 및 책임성 메커니즘을 수립함으로써 AI 이니셔티브에 대한 명확한 소유권과 감독을 보장하며, 개인이 자신의 행동에 대해 책임을 지도록 하는 것”이라고 설명했다.

포괄적인 AI GRC 계획은 AI 시스템이 설명 가능하고 이해 가능하도록 돕는다. 하우기언은 “이는 신뢰와 채택에 필수적이며, 많은 기업에서 점점 더 큰 장애물로 떠오르고 있는 요소”라고 지적했다.

팀 기반 AI 거버넌스

AI는 비즈니스 전반을 관통하는 기술인 만큼, GRC 프레임워크에는 광범위한 참여자의 의견이 반영돼야 한다. TEK 시스템의 글로벌 서비스 책임자인 리카르도 마단은 “우리는 보통 다양한 후원자, 리더, 사용자, 전문가 그룹을 포함시키는 이해관계자 식별 및 참여 과정으로 시작한다”고 말했다. 여기에는 IT, 법무, 인사, 컴플라이언스, 비즈니스 부서가 포함된다.

마단은 “이런 접근 방식은 거버넌스 이슈와 목표, 프레임워크 설계의 우선순위 설정을 통합적이고 일관되게 수행할 수 있게 해준다”고 설명했다. 또한 이 단계에서 조직의 AI 가치와 윤리 기준을 수립하거나 검증하며, 이후에는 지속적인 피드백, 반복 개선, 우선순위 대비 진행 상황 추적을 위한 계획과 주기를 설정한다고 덧붙였다.

이 프로세스는 규제 변화, AI 기능 발전, 데이터 인사이트 도출, AI 혁신의 지속적 진화 등을 모두 고려해 구성된다.

AI 위험 프로파일 수립

기업은 조직의 리스크 수용 성향, 민감 정보의 종류, 해당 정보가 공개 학습 모델에 노출될 경우의 결과를 이해하고, 이를 바탕으로 AI 위험 프로파일을 수립해야 한다. 헌더머는 “IT 리더는 기업 전체 및 직원 차원의 적절한 위험-보상 균형을 수립하기 위해 고위 비즈니스 리더와 협력할 수 있다”라고 강조했다.

하우기언은 기업이 AI 관련 위험 식별, 평가, 완화 방안을 구체화하는 것은 법적·재무적 책임을 사전에 방지하고, 관련 규제와의 정렬을 가능케 하는 데 매우 중요하다고 말했다.

윤리 원칙 및 가이드라인 통합

최근 CIO는 AI를 도입하면서 기술을 빠르게 활용해야 한다는 압박과 함께 윤리 문제와 씨름하고 있다. AI GRC 프레임워크에 윤리 원칙을 반영하는 것은 아무리 강조해도 지나치지 않다. AI는 비윤리적으로 사용하면 기업을 위험에 빠뜨릴 수 있는 수많은 위험을 내포하고 있기 때문이다.

AI GRC 프레임워크의 윤리 영역에 대해 하우기언은 “공정성, 투명성, 책임성, 프라이버시, 인간의 감독 등의 영역을 포괄하는 기업의 AI 윤리 입장을 정의해야 한다”며, “이런 절차는 AI 개발과 배포에 대한 도덕적 나침반을 제공해 의도치 않은 피해를 방지하고 신뢰를 구축할 수 있다”라고 강조했다.

하우기언은 이런 정책의 예로, 기존 편향을 지속하거나 강화하지 않도록 AI 시스템을 설계해야 하며, 정기적으로 공정성 감사를 수행한다는 정책을 제시했다. 사람의 삶에 큰 영향을 미치는 AI 기반 의사결정은 모두 설명 가능해야 한다는 기준을 수립하는 것도 이런 정책의 대표적인 예다.

AI 모델 거버넌스 포함

모델 거버넌스와 수명주기 관리 또한 효과적인 AI GRC 전략의 핵심 구성 요소이다. 하우기언은 “이 항목은 데이터 수집부터 모델 개발, 배포, 모니터링, 폐기까지 AI 모델의 전체 수명주기를 다룬다”라고 설명했다.

모델 거버넌스는 모델의 신뢰성, 정확성, 일관된 성능을 보장함으로써 모델 드리프트(Model Drift)나 오류로 인한 위험을 줄일 수 있다. 구체적인 예로는, 데이터 검증, 모델 테스트, 성능 모니터링을 위한 명확한 절차 수립, 모델 버전 관리 시스템 구축 및 변경 기록 로깅, 모델의 최신성 유지를 위한 주기적 재학습 시스템 구현 등이 있다.

명확하고 집행 가능한 AI 정책 수립

포드나르는 “AI를 포함한 신기술은 대규모 데이터 활용이 전제되므로, 정책은 위험과 기회 사이의 균형을 맞춰야 한다”라고 강조했다. 또, “대다수 기업은 자사의 명확한 경계선을 정책으로 문서화하지 않는다”라고 지적했다. 이는 직원들이 각자 임의로 기준을 정해 조직을 위험에 빠뜨리거나, 반대로 새로운 제품과 서비스를 만들지 못하게 만드는 요인으로 작용한다. 이들이 “무조건 IT의 허락을 받아야 한다”는 인식을 가지고 있기 때문이다.

포드나르는 “기업은 책임, 설명 가능성, 책임 추적, 데이터 프라이버시 및 보안 관련 관리 프랙티스, 그리고 기타 운영 위험과 기회와 관련된 측면을 포괄하는 명확한 정책을 수립해야 한다”고 말했다. 모든 위험과 산업군이 동일하지 않기 때문에, 각 기업은 AI로 달성하고자 하는 비즈니스 목표에 따라 자사 고유의 위험 수용 성향에 집중해야 한다. 포드나르는 “정책은 사용자들이 이해할 수 있는 집행 메커니즘을 포함해야 한다”라고 덧붙였다.

피드백 수렴 및 지속적 개선

AI 가이드라인은 조직 전체에 명확히 전달돼야 하며, 사용자의 요구를 더 잘 반영할 수 있도록 지속적으로 피드백을 수렴하고 정책을 개선하는 작업이 중요하다.

TEK 시스템의 마단은 “사용자 피드백을 바탕으로 AI 사용 현황, 성능, 프레임워크 테스트 결과를 꾸준히 문서화하고 보고하고 있다. 이 모든 과정은 정책 개선, 감사 대응력 강화, 보장 체계 마련을 위한 지속적 노력의 일환”이라고 설명했다.

포드나르는 “AI 모델은 시간이 지나며 변화하고 지속적인 모니터링이 필요하기 때문에, AI가 수명주기 전반에 걸쳐 효과적이고 컴플라이언스를 유지하도록 하기 위해 강력한 거버넌스 프로세스가 마련돼야 한다”고 강조했다. 이를 위해서는 모델 검증 및 모니터링 프로토콜을 점검하고 활용하거나, 예기치 못한 상황에 대비한 자동화된 규칙 및 알림 시스템을 마련하는 작업이 필요할 수 있다.
[email protected]