“솔루션도 기업도 아직은 초기” AI 거버넌스 플랫폼 시장 현황과 기업의 고려사항

프린시펄 파이낸셜 그룹(Principal Financial Group, PFG)은 지난 몇 년 동안 AI 활용이 급증하면서 이를 종합적으로 관리할 수 있는 AI 거버넌스 전략과 이를 실행할 도구가 절실해졌다.

PFG의 부사장 겸 최고 데이터 및 분석 책임자인 라제시 아로라는 “현재 자연어 처리, 머신러닝, 생성형 AI 모델 등 100건 이상의 AI 사용례를 운영 중이며, 이를 통해 사기 탐지, 보험금 청구 자동화, 투자 리서치, 퇴직연금 최적화, 고객센터 지원 업무를 수행하고 있다”고 설명했다. 아로라는 “그러나 각각의 사용례는 규제 준수, 편향, 윤리 문제와 같은 리스크를 동반하고 있으며, 이를 해결하기 위해 AI 거버넌스 전략이 필요하다”고 강조했다.

PFG는 먼저 AI 도입부터 리스크 분류, 모델 검증, 지속적인 모니터링에 이르는 전 생애 주기를 관리하는 ‘윤리적이고 책임 있는 AI(Ethical and Responsible AI, ERAI)’ 프레임워크를 개발했다. 이 프레임워크는 모든 AI 애플리케이션에 설명 가능성, 인간의 감독, 개인정보 보호를 필수 요건으로 설정했다. 이어 AI 거버넌스 플랫폼인 크레도 AI(Credo AI)를 도입해 모든 AI 애플리케이션을 인벤토리화하고, 리스크 평가, 데이터 프라이버시, 규정 준수 추적, AI 규제 및 표준과의 일치를 지원하도록 했다. 아로라는 “서비스나우 기반 거버넌스 워크플로우도 일부 시범 운영 중”이라고 덧붙였다.

가트너의 부사장이자 수석 애널리스트인 아비바 리탄은 “AI가 유발하는 리스크는 매우 현실적”이라며, “특히 생성형 AI의 경우 데이터 유출, 손상, 부정확하고 원치 않는 결과물로 인해 잘못된 의사결정이 내려질 가능성이 크다”고 경고했다.

EY의 책임감 있는 AI 리더인 신클레어 슐러는 “AI 거버넌스는 모든 비즈니스에 반드시 필요한 핵심 과제”라며, “거버넌스 실패는 기업 자체의 실패로 이어질 수 있다”고 강조했다.

이처럼 문제를 해결해야 할 필요성은 분명하지만, 실제 도입 속도는 그 긴박성에 비해 더디게 진행되고 있다.

느린 도입 곡선

가트너는 2025년 전략적 기술 트렌드 가운데 두 번째로 AI 거버넌스 플랫폼을 꼽았다. 이런 도구를 활용하는 기업은 AI 관련 윤리 이슈가 40%가량 줄어들 것으로 예상하고 있다. 그러나 여전히 AI 거버넌스 플랫폼은 널리 사용되지 않고 있으며, 이는 플랫폼이 기술적으로 미성숙해서가 아니라는 것이 리탄의 설명이다. 리탄은 “CIO는 AI의 ROI도 입증하기 어려운 상황에서 또 다른 플랫폼에 투자하려 들지 않는다”고 지적했다. 지금까지 보안 및 리스크 관리는 항상 후순위였다.

예를 들어, 웨브스터 뱅크의 부사장이자 CIO인 비크람 나프데는 이미 생성형 AI를 문서 처리, 비정형 데이터 관리, 동료 간 신용 평가 등 다양한 비즈니스 프로세스에 적용하고 있지만, 아직 별도의 AI 거버넌스 플랫폼은 도입하지 않았다. 대신 나프데는 AI 활용에 대한 내부 거버넌스 가이드라인을 수립하고 공식적인 AI 사용 정책을 마련했으며, AI 설계 및 구현, 운영 전반에 책임과 전략 방향을 제시할 AI 거버넌스 위원회를 신설했다.

나프데는 “현재 우리는 지라, 셰어포인트, 서비스나우 같은 기존 엔터프라이즈 도구를 활용해 워크플로우, 통제, 증적 관리 등의 AI 거버넌스 요소를 관리하고 있다”고 설명했다. 또 “이와 동시에 전체 AI 거버넌스 생애 주기를 포괄하고, 내부 리스크, 법무, 데이터, 보안 도메인과 통합 가능한 단일 플랫폼도 검토 중”이라고 밝혔다.

리탄은 AI가 자율적으로 의사결정을 내리는 ‘에이전틱 AI’ 기술이 확산되면서 AI 거버넌스 플랫폼 도입이 가속화될 것이라고 전망했다. 리탄은 “에이전틱 AI는 예측 불가능하고 언제든 통제 불능 상태에 빠질 수 있기 때문에 반드시 제어 장치가 필요하다”고 강조했다. 현재 많은 기업이 수동 검토와 정책을 통해 AI를 통제하고 있지만, 향후 2년 안에 자율 에이전트가 본격 확산되면 수동 방식으로는 속도를 따라잡을 수 없다는 것이다. 리탄은 “지금은 과대광고가 많고 실제 도입은 적다”며, “생산성 정점(Gartner가 말하는 대중화 시점)에 도달하려면 몇 년은 더 걸릴 것”이라고 전망했다.

AI 거버넌스 도구 현황

AI 비즈니스 전략 컨설팅 전문업체 닥터 리사 AI(Dr. Lisa AI)의 CEO 겸 최고 AI 책임자인 리사 파머는 “AI 거버넌스 플랫폼은 CIO가 모델 성능을 모니터링하고, 편향을 탐지하며, 정책을 집행하고, 컴플라이언스 검토를 간소화하는 데 도움을 줄 수 있다”라고 설명했다. 파머는 CIO 자문 가이드 ‘모든 CIO/CAIO가 반드시 책임져야 할 5가지 전략적 AI 거버넌스 과제’에서 “이 도구는 모델 내 편향과 공정성 문제를 탐지하고, 특성 기여도와 히트맵 같은 설명 가능성 기능을 제공하며, 모델 성능, 드리프트, 규정 준수 상태를 실시간으로 모니터링할 수 있다”라고 분석했다.

파머는 “피들러, 트루에라, 크레도 AI 같은 도구는 설명 가능성의 공백을 드러내고 데이터 계보를 추적하며, 실제 운영 환경에서 모델이 기대한 대로 작동하는지 확인할 수 있다”라고 설명했다. 이어 “하지만 인간의 판단을 대체하거나 비즈니스 가치를 정의하거나 AI 사용례를 전략적 우선순위에 자동으로 맞추는 기능은 제공하지 않는다”고 덧붙였다.

리탄은 현재 AI 거버넌스 플랫폼 시장에 30~40개 업체가 진출해 있다고 추정했다. 그러나 “채택률이 낮아 고객 사례를 찾기 어렵고, 이것이 가트너가 아직 주요 업체와 후발주자를 구분한 매직 쿼드런트를 발표하지 않은 이유 중 하나”라고 설명했다.

다만 리탄은 “일부 업체는 AI 거버넌스의 특정 영역에서 강점을 보이고 있다”고 덧붙였다. 예를 들어, 제니티(Zenity)는 마이크로소프트 365 코파일럿 같은 제품 모니터링에 강하고, 크레이니엄(Cranium)은 서드파티 리스크 관리, 노마 시큐리티(Noma Security)는 인프라 및 런타임 위반 탐지, 홀리스틱(Holistic)은 편향 테스트에서 우수한 성능을 보인다고 평가했다.

슐러는 “AI 거버넌스 도구는 챗GPT나 앤트로픽 같은 서드파티 AI 이용 정책 수립과 집행뿐 아니라, 내부 AI 자산 설계 및 개발 정책 수립에도 도움이 된다”라며, “이런 도구는 활용 정책을 기술하고 정책 집행을 지원할 수 있다”라고 설명했다.

도입 전 준비 단계

AI 거버넌스 도구를 평가하기 전에 CIO는 먼저 AI 애플리케이션 목록을 작성하고 정책 프레임워크를 수립해야 한다. 파머는 “도구가 해결해야 할 문제는 무엇이며, 거버넌스 결과에 대한 책임자는 누구인지, 어떤 정책과 워크플로우, 임계값이 존재하거나 마련되어야 하는지를 명확히 해야 한다”라며, “이런 기준이 없으면 아무리 뛰어난 도구라도 기대 이하의 결과를 낼 수 있다”고 지적했다. 이어 “CIO는 먼저 자사의 활용 사례를 식별하고, 리스크 등급을 평가해야 한다. 초기 단계 조직은 MLOps 플랫폼이 유용하고, 성숙한 조직은 정책 집행 계층이나 편향 자동 감사 기능이 필요하다”고 조언했다.

리탄은 “우선 체계를 잡아야 한다”고 강조하며, “AI 책임성에 대한 정책을 정의하고 모든 AI를 파악하며, 누가 어떤 도구를 어떻게 사용하고 있으며, 얼마나 위험한지를 정확히 이해해야 한다. 이후 데이터를 정비해야 한다. 권한과 분류 상태가 적절한지, 그리고 보안이 철저한지 확실히 해야 한다”라고 설명했다.

AI 거버넌스 도구에서 확인해야할 요소

파머는 도구를 평가할 때 모델 설명 가능성, 편향 탐지, 정책 자동화 및 규칙 기반 규정 준수 트리거, 실시간 성능 모니터링, 감사 가능성과 규제 감사를 위한 문서화, 기존 모델 개발 생애 주기와의 통합 여부 등을 주요 기능으로 꼽았다.

슐러는 “솔루션 업체와 논의할 수 있는 평가 기준을 사전에 마련하고, 자사 거버넌스 모델의 미래 모습이 어떤지 구체적으로 설정해야 한다”며 “해당 플랫폼이 이를 구현하지 못하면 후보에서 제외해야 한다”라고 강조했다. 또한 “모든 프로젝트에 적용되는 거버넌스 정책을 정의하고, 이 정책을 상속받는 하위 정책을 만들 수 있는 기능이 있는 플랫폼을 선택하라”고 조언했다.

나프데도 “이 기능은 여러 사업 부문이나 도메인 전반에 걸쳐 대규모 거버넌스를 관리할 때 매우 강력하다”라며, “기본 정책을 유지하면서도 상황에 맞게 조정할 수 있는 능력이 혁신을 저해하지 않으면서도 조직적 일치를 이루는 핵심 요소”라고 분석했다.

슐러는 “정책 승인에는 여전히 사람의 개입이 필요하다”라며, “중간 점검 단계에서 정책 승인 여부를 결정해야 한다. 결국 AI 거버넌스는 사람이 수행하는 일”이라고 강조했다.

파머는 도구 평가 시 통합 수준, 다양한 역할에 걸친 사용성, 모델 및 규제 변화에 따른 플랫폼의 적응력을 고려해야 한다고 설명했다. 또 “AI 거버넌스는 법무, 컴플라이언스, 비즈니스 이해관계자가 모두 연관되어 있어 도구에 대한 부서 간 접근성이 특히 중요하다”라고 덧붙였다.

아로라는 PFG가 도구를 선택할 때 사용성과 맞춤화, 확장성은 물론, 거버넌스 전략 변화에 맞춰 도구가 진화할 수 있는지도 중요하게 평가했다고 설명했다. 또한 “도구의 기능성, 성능, TCO도 주요 기준이었다”라고 밝혔다.

하지만 아로라는 평가 과정에서 조직 특화 AI 애플리케이션처럼 주관적 판단이 필요한 경우, 많은 도구가 한계를 보였다고 전했다. 그는 “도구 학습과 운영화에 시간이 많이 걸리고, 기존 시스템과의 통합도 간단하지 않다. 또한 데이터 품질, 정확성, 완전성 같은 기본적인 문제를 해결하지 못하는 경우도 많았다”고 지적했다.

통제할 수 있는 AI를 위해 해야 할 일

AI 거버넌스 플랫폼이 있으면 좋지만, 구매를 서두를 필요는 없다. 나프데는 “먼저 자사의 거버넌스 프레임워크와 프로세스를 정의해야 한다”라며, “AI 활용 범위와 관련 리스크를 명확히 파악한 후, 이를 바탕으로 도구를 선택해야 한다”라고 강조했다.

그리고 솔루션 업체가 기꺼이 가격 협상을 한다고 해서 놀랄 필요는 없다. 리탄은 “AI 거버넌스는 솔루션 업체가 가격을 깎아줄 수 있을 정도로 초기 시장이다. 하지만 문제는 거버넌스 도구 구매 비용이 아니라 시간, 자원, 인력 측면의 비용이다. “기업 인력이 이미 부족한 상황이라 거버넌스를 누가 관리할지도 불분명하다”라고 지적했다.

파머는 “AI 거버넌스 도구가 모니터링에는 도움이 되지만, CIO는 여전히 비즈니스 관점에서 수용 가능한 리스크를 정의하고 AI 프로젝트를 전략적 성과와 맞추고, 전사적 거버넌스 전략을 수립해야 한다”고 조언했다. 그리고 “이런 플랫폼은 사용자를 대신해 거버넌스 전략을 정의해주지 않으며, 대부분 AI 기반 대중 여론 조작, 조직적인 대량 항의, 평판 조작과 같은 외부 위협은 다루지 못한다. 이는 CIO가 간과해서는 안 될 사각지대”라고 경고했다.

실제 운영을 시작한 후에는 정책을 지나치게 엄격하게 설정하지 않는 것이 좋다. 쉴러는 “AI는 창의력 엔진”이라며, “이를 통제할 필요는 있지만, 너무 억제하면 창의성을 발휘할 수 없게 된다”라고 설명했다.

아로라는 “AI 거버넌스 플랫폼이 할 수 있는 일에는 한계가 있다”라며, “산업 차원에서 책임 있는 AI와 보안 정책이 아직 성숙하지 않고 명확히 정의되어 있지 않기 때문에, 이로 인해 거버넌스 도구의 효과가 제한될 수 있다”고 분석했다. 또 “이런 기반이 부족하면 거버넌스 도구는 제 기능을 다 하지 못한다. AI 거버넌스를 단순한 규정 준수 요건이 아니라 비즈니스 역량으로 바라봐야 한다”라며, “조직 구조에 맞게 유연하게 적용되면서도 일관된 기준을 강력하게 집행할 수 있는 도구를 선택”하라고 조언했다.

AI 분야는 매우 빠르게 변화하고 있으므로, 플랫폼을 도입한 이후에는 정기적인 리뷰가 필수적이다. 슐러는 “정책을 수정해야 하는 시점을 놓치지 않도록 한 달 또는 분기 단위의 아주 짧은 검토 주기를 유지할 것”을 제안했다.
dl-ciokorea@foundryco.com