MS 기고 | AI 거버넌스 101: 이렇게 행동하면 미래가 달라진다

이러한 기술과 활용 사례에 대한 기대가 높아지면서, 우리는 곳곳에서 그 도입을 목격하고 있다. 많은 직원이 AI 기술을 실험하고 개발하며, 조직의 AI 정책과 상관없이 이를 실제 운영 환경에 적용하고 있다. 이제 AI는 현대 사회의 일부이자 기술 포트폴리오의 핵심 요소로 자리 잡았다.

AI 기술의 급격한 발전과 도입 속도는 조직의 거버넌스 정책보다 앞서가고 있다. 이러한 변화는 보안 침해, 데이터 프라이버시 문제, 기업 평판 훼손과 같은 위험과 취약성에 기업을 노출시킬 수 있다.

그럼에도 불구하고 효과적인 AI 거버넌스를 수립하고 운영하는 기업은 더 빠른 가치 실현, 비즈니스 성과 개선, 리스크 감소, 명확한 방향 설정, 신뢰 구축과 같은 다양한 이점을 얻을 수 있다.

일각에서는 거버넌스가 창의성을 제한하고, 진전을 가로막으며, 추가적인 절차로 인해 비용을 증가시킨다고 주장한다. 또한, 신속한 AI 도입을 위해 필요한 민첩성을 저해하는 장애물로 인식되기도 한다.

그러나 실제 사례를 보면, 이러한 주장과 반대로 AI 거버넌스를 구축하고 실행하는 것이 기업과 고객 모두에게 이익이 된다. AI 거버넌스는 조직 전반에서 AI 기술을 일관되게 적용할 수 있도록 방향과 가이드라인을 제공하며, 필요한 수준의 감독 체계를 마련한다. 이를 통해 공정하고 안전하며 포용적인 시스템을 구축하고, 사용자의 신뢰를 확보할 수 있다.

많은 조직이 AI 거버넌스는 정부 차원에서 먼저 시작되어야 한다고 주장한다. 실제로 각국 정부와 기관들이 관련 정책을 마련하고 있지만, 대부분 포괄적인 수준에 머물러 있어 개별 기업이 이를 바탕으로 자체적인 거버넌스 모델을 구축해야 한다. 각 기업은 자사의 필요와 운영 방식에 맞춘 거버넌스 체계를 설계할 필요가 있다.

이러한 방해 요소의 영향을 쉽게 확인할 수 있다. AI 거버넌스 프레임워크 수립과 실행을 저해하는 요소는 많지만, 각 요소를 체계적으로 해결함으로써 조직은 기업의 사명과 가치에 가장 부합하는 AI 거버넌스 프레임워크를 구현할 수 있다. 다른 모든 것과 마찬가지로, 없는 것보다는 있는 것이 낫다.

왜 최소한이라도 거버넌스를 마련해야 할까? 가트너가 IT 및 데이터 분석 리더들을 대상으로 실시한 조사에 따르면, AI 거버넌스 프레임워크를 도입한 기업은 46%에 불과했다. 이 중에서도 AI 전용 거버넌스를 구축한 기업은 12%에 불과했고, 34%는 기존 거버넌스 정책을 확장해 AI 관련 규정을 추가한 상태였다. 반면, 55%는 아직 AI 거버넌스를 도입하지 않은 것으로 나타났다.

따라서 AI 거버넌스를 개발하거나 기존 프로세스를 업데이트할 때, 거버넌스는 단순한 규제가 아니라 ‘행동’이라는 점을 기억해야 한다. 거버넌스는 계획 수립, 승인 절차, 보안 관리, 운영 프로세스, 모니터링, 문제 해결, 감사 등 AI 프로젝트 전반에 걸쳐 적용되는 활동이다. 또한, AI 솔루션을 개발·배포·운영·유지보수하는 실제 업무 흐름과 밀접하게 연계되어야 한다. 거버넌스를 효과적으로 실행하면 얻는 이점이 그렇지 않을 경우 발생하는 문제보다 훨씬 크다.

거버넌스란 무엇인가?

먼저 거버넌스를 정의하고 기본 개념을 정리해 보자. 이는 거버넌스에 대한 회의적인 시각을 극복하는 데 도움이 될 것이다.

거버넌스를 정의할 때는 가장 상위 개념인 비즈니스 거버넌스부터 시작해 IT 거버넌스를 거쳐 AI 거버넌스로 확장하는 것이 효과적이다. 비즈니스 거버넌스를 기반으로 하면 조직이 장기적인 경쟁력을 확보하고, 변화하는 환경 속에서도 지속적으로 경쟁력을 유지할 수 있도록 지원할 수 있다.

비즈니스 거버넌스는 기업이 운영되는 방식과 방향을 결정하는 규칙, 관행, 프로세스의 체계다. 이를 통해 조직이 올바른 방향으로 나아가며, 일관된 성과를 창출할 수 있도록 한다.

IT 거버넌스는 IT 자원을 효과적이고 효율적으로 활용할 수 있도록 보장하는 프로세스다. 또한 IT 투자에 대한 평가, 선정, 우선순위 결정, 자금 조달을 체계적으로 진행해 가시적인 비즈니스 성과를 창출하는 역할을 한다. 결국 IT 목표를 비즈니스 목표와 일치시키는 것이 핵심이다.

AI 거버넌스는 조직 내 AI 활용을 관리하고 방향을 제시하는 프로세스의 집합이다. AI가 윤리적이고 투명하며 책임감 있게 운영되도록 하고, 법적·규제적 요구사항을 준수하는 것이 목적이다. 또한 AI 시스템의 리스크 관리, 품질 유지, 결과에 대한 책임 소재를 명확히 하는 역할도 포함된다.

AI 거버넌스는 단순한 규제 준수를 위한 요건이 아니라 반드시 전략적 우선순위로 고려해야 한다. AI 사용에서 발생할 수 있는 위험을 줄이고 윤리적 사용을 보장하는 것은 물론, 이해관계자의 신뢰를 구축하고 비즈니스 성과를 개선하는 데 기여하기 때문이다. 따라서 AI 거버넌스는 조직의 AI 전략 수립 단계에서부터 포함되어야 하며, 나중에 추가하는 요소가 되어서는 안 된다.

효과적인 AI 거버넌스 구축을 위한 핵심 요소

거버넌스는 단순한 개념이 아니라 실행을 수반하는 활동이다. 조직은 효과적인 AI 거버넌스를 구축하기 위해 여러 가지 조치를 취할 수 있다. 다음과 같은 요소들을 고려하는 것이 중요하다.

1. AI 문화 조성
AI 거버넌스가 성공하려면 조직 구성원들이 이를 자연스럽게 받아들이고 적극적으로 참여해야 한다. AI 문화가 정착될수록 직원들은 AI 도입과 활용에 더 적극적으로 나서게 된다. 이를 위해 AI 교육과 학습 중심 문화를 조성해야 한다. AI는 빠르게 발전하는 기술이므로, 단순히 ‘모든 것을 아는 것’이 아니라 ‘끊임없이 배우는 자세’가 중요하다.

2. AI 거버넌스 위원회 구성
각 프로젝트 영역의 대표자와 AI 전문가를 포함한 거버넌스 위원회를 구성해야 한다. 정책이 실무에 자연스럽게 적용될 수 있도록, 실제 AI 시스템을 개발·운영하는 현장과 가까운 인력을 참여시키는 것이 중요하다. 이 위원회는 조직 내 모든 AI 활동을 감독하고, 인간의 개입과 통제 수준을 결정하는 역할도 맡아야 한다.

특히 AI가 어떻게 운영되고 있는지 검토하면서, 어디에서 인간이 개입해야 하는지, 어떤 통제 장치가 마련되어 있는지 명확히 해야 한다. 또한 특정 상황에서 인간이 어떤 역할을 해야 하는지를 규정해, 책임 소재가 불분명해지는 일을 방지해야 한다. 이 팀은 조직 내에서 사용 중인 모든 AI 기술을 지속적으로 관리하고 추적하는 역할도 수행해야 한다.

3. 지속적인 커뮤니케이션
AI 거버넌스 위원회의 활동을 조직 전체에 투명하게 공유해야 한다. 정책과 실행 계획을 명확히 전달하고, 조직 내 AI 활용 사례를 공유함으로써 구성원들이 서로 배우고 최적의 실천 방안을 나눌 수 있도록 해야 한다.

4. 측정 가능한 지표(KPI) 설정
AI 거버넌스가 효과적으로 운영되는지 평가할 수 있도록 주요 성과 지표(KPI)를 설정해야 한다. 주요 측정 항목에는 시스템 가동 시간과 안정성, 보안 사고 발생 건수, 사고 대응 속도, 데이터 품질 문제, 시스템 성능 등이 포함될 수 있다.

또한 직원들의 AI 역량, AI 도입률, 거버넌스 모델의 성숙도까지 평가할 수 있다. 목표를 설정하고 주기적으로 성과를 측정함으로써, AI 거버넌스가 조직의 목표와 위원회의 기대치에 부합하는지 지속적으로 점검해야 한다.

이러한 요소들은 완전한 AI 거버넌스 모델을 구성하기 위한 최종 목록이 아니다. 오히려 시작점에 가깝다. 거버넌스는 지속적인 개선이 필요하며, 운영 과정에서 발견되는 문제와 결과를 바탕으로 정책을 조정해야 한다. 꾸준한 모니터링과 개선을 통해 더욱 효과적인 AI 거버넌스를 구축하는 것이 중요하다.

AI 거버넌스 구축의 도전 과제와 해결 방안

앞서 언급한 것처럼, AI 거버넌스 프로세스를 구축하고 실행하는 과정에서 발생하는 도전 과제에 주저해서는 안 된다. 이러한 장애물을 미리 파악하고 대비하지 않으면, AI 거버넌스의 효과적인 운영이 어려워질 수 있다. 다음은 대표적인 몇 가지 문제점이다.

• 데이터 거버넌스 부족
  조직에는 명확한 데이터 거버넌스 정책이 필요하다. 데이터 거버넌스가 없으면 AI 거버넌스와 데이터 거버넌스를 동시에 구축해야 하는 상황이 발생하며, 이를 도입하는 과정에서 더 큰 어려움을 겪게 된다. 데이터 품질, 편향, 프라이버시 보호, 데이터 활용, 소유권 및 규제 준수와 관련된 정책을 수립하는 것이 중요하다. 이는 조직의 신뢰도를 높이고, AI 시스템의 신뢰성을 확보하는 기반이 된다.
• AI의 비즈니스 영향에 대한 명확성 부족
  비즈니스와 IT 부서는 긴밀히 협력해야 한다. IT 부서는 AI 시스템을 구축하고 운영하는 데 필요한 자원을 확보해야 하지만, AI가 제공하는 비즈니스 이점을 명확히 파악하지 못하면 프로젝트가 성공하기 어렵다. 위험을 줄이고 명확한 비즈니스 가치를 창출할 수 있도록, AI가 조직에 어떤 영향을 미칠지 충분히 분석해야 한다.
• 비즈니스와 IT 간 협업 부족
  AI의 비즈니스적 가치를 명확히 정의하지 못하면, 비즈니스와 IT 부서 간 협업이 원활하지 않을 가능성이 높다. 원활한 협업과 소통이 이루어지지 않으면 AI 프로젝트의 효율성이 떨어지고, 궁극적으로 실패로 이어질 수 있다. AI 프로젝트는 조직 내 여러 이해관계자가 관여하는 만큼, 협업 부재가 심각한 문제로 확대될 수 있다.
• 조직 내 사일로 현상
  조직 내 부서 간 소통이 부족하거나 내부 경쟁이 심하면, 각 부서가 개별적으로 AI 기술을 도입·운영하게 된다. 이는 기술 사용, 소유권, 방향성 등에 대한 통합된 전략이 부족하다는 의미이며, 결국 보안·법적·규제 준수 문제를 해결하기 어렵게 만든다. 조직 전체적으로 일관된 AI 운영이 이루어지지 않으면, 리스크가 커지고 관리 효율성이 저하된다.
• 역량 부족
  과거에는 AI가 미래 기술로 여겨졌지만, 이제는 주요 기술로 자리 잡았다. 그럼에도 불구하고 일부 조직은 AI 거버넌스를 구축할 역량이나 전문성이 부족하다고 느낄 수 있다. 하지만 지금은 미국 국립표준기술연구소(NIST)의 AI 프레임워크 등 다양한 리소스가 제공되고 있어, 이를 적극 활용하면 역량 부족 문제를 극복할 수 있다. 중요한 것은 기존 프레임워크를 그대로 적용하는 것이 아니라, 조직의 특성에 맞게 정책을 맞춤화하는 것이다.

이러한 문제들이 복잡해 보일 수 있지만, AI 거버넌스를 구축하지 않는다면 더 큰 문제가 발생할 수 있다.

가트너가 실시한 연구에서도 거버넌스 부족이 기업에 미치는 부정적인 영향을 확인할 수 있었다. 응답자의 47%는 비용 증가를 경험했으며, 36%는 AI 프로젝트가 실패했다고 답했다. 또한 34%는 매출 감소를, 29%는 고객 경험 악화를 겪었다. 즉, 거버넌스 부재로 인한 비용이 너무 크기 때문에 이를 간과해서는 안 된다.

AI 거버넌스의 첫 단계: 작게 시작하고 점진적으로 확장하라

AI 거버넌스 구축은 한 번에 완벽한 모델을 만드는 것이 아니라, 점진적으로 개선해 나가는 과정이다. 각 부서와 협력하며 점진적으로 확장하는 것이 중요하다. 먼저 리스크 완화, 법적 요구 사항 준수, 책임 소재 명확화, 문제 발생 시 조치 방안 등을 설정해야 한다.

거버넌스는 실행을 기반으로 하므로, 모든 거버넌스 프로세스에 반드시 포함해야 할 두 가지 핵심 활동을 살펴보자.

조직 내 AI 기술 현황 파악

조직에서 AI 모델과 도구를 빠르게 도입하려는 경향이 강하다. 각 팀은 최신 기술을 가장 먼저 적용하거나, 신기술을 가장 먼저 실험해보고자 경쟁하기도 한다. 이러한 경쟁이 심화되면 조직 내 다양한 AI 모델, 버전, 도구들이 통제 없이 혼재하게 된다. 거버넌스 정책 없이 AI 기술을 도입하면, 결과적으로 조직은 AI 모델과 도구를 체계적으로 관리하기 어려운 상황에 놓이게 된다.

일반적으로 IT 시스템이 운영 환경에 배포되면, 기존 기술을 변경하는 것은 쉽지 않다. 따라서 AI 거버넌스 없이 무분별하게 기술을 도입하면, 장기적으로 기술 부채가 쌓이고 관리가 어려워진다.

이러한 문제를 방지하기 위해 조직은 반드시 AI 기술 현황을 파악해야 한다. 모든 AI 기반 제품과 서비스의 목록을 작성하고, 각 제품이 어떤 AI 대형 언어 모델(LLM), 모델 버전, AI 프레임워크, 도구를 사용하는지 기록해야 한다.

이렇게 AI 기술 목록을 정리하면, 조직 내에서 어떤 도구와 모델이 사용되고 있는지 한눈에 파악할 수 있다. 또한 AI 모델의 라이프사이클을 체계적으로 관리할 수 있다. 일반적으로 AI 모델은 솔루션이 운영되는 동안에도 업데이트되며, 애플리케이션 버전이 출시되기 전에 폐기되는 경우도 있다. 따라서 모델을 최신 상태로 유지하려면 정기적으로 버전을 관리해야 한다.

이 과정에서 가장 중요한 요소 중 하나가 바로 모델 관리(model management)다. 조직이 AI 모델을 지속적으로 운영하려면, 모델 업데이트와 유지보수 계획을 명확히 수립해야 한다. 이를 통해 AI 시스템이 최신 기술을 반영하며 안정적으로 운영될 수 있도록 해야 한다.

AI 모델 관리

조직 내에서 어떤 AI 대형 언어 모델(LLM)이 사용되고 있는지를 파악하는 것은 모델 관리의 일부일 뿐이다. 중요한 것은 모델의 운영 주기(lifecycle)를 계획하고, 모델 교체 시점에 대비하는 것이다. 새로운 모델을 테스트하고 충분한 평가 기간을 확보하는 것이 필수적이다.

우선, AI 모델의 수명 주기를 살펴보자. 예를 들어 오픈AI와 애저 오픈AI에서 제공하는 GPT 모델의 경우, 각 모델은 출시와 함께 지원 종료일(retirement date)이 정해진다. 이를 확인하면 현재 사용하는 모델의 교체 시점을 예측할 수 있으며, 적절한 대체 모델도 확인할 수 있다.

예를 들어 GPT-3.5의 0613 버전은 2025년 2월 13일에 지원이 종료된다. 이 모델을 사용 중이라면, 수동으로 업그레이드할지 자동 업데이트 기능을 사용할지 결정해야 한다. 자동 업데이트 기능을 활성화했다면, 모델이 같은 계열 내에서 최신 버전으로 자동 변경된다(GPT-3.5 0613 → GPT-3.5 0125). 그러나 새로운 모델이 기존 솔루션과 동일한 방식으로 동작하는지 테스트 없이 그대로 운영해도 괜찮을지 고민해야 한다.

또한, 자동 업데이트를 선택해 GPT-3.5 0125 버전으로 전환하더라도 이 모델 역시 2025년 5월 31일에 지원이 종료된다. 즉, 3개월 후에는 또 다른 모델로 업그레이드해야 한다. 이때 추천되는 대체 모델은 GPT-4.0 mini지만, 모델 계열이 다르면 자동 업데이트가 불가능하다. 따라서 장기적인 모델 수명 주기를 고려한다면 GPT-4 계열로 바로 전환하는 것이 나을 수도 있다.

GPT-4 계열을 선택할 경우, GPT-4o와 O1 중 하나를 결정해야 한다. O1은 논리적 추론과 복잡한 문제 해결에 특화된 반면, GPT-4o는 멀티모달 기능을 지원하며 텍스트 및 이미지 처리가 가능하다. 각 모델에는 mini 모델도 제공되므로, 사용 목적에 맞춰 적절한 모델을 선택해야 한다.

이처럼 조직 내에서 어떤 모델을 사용하고 있는지를 일목요연하게 정리하면, 모델 업그레이드 일정을 효과적으로 관리할 수 있다. 또한, 특정 애플리케이션에 적합한 모델을 선택할 수 있으며, 조직 전반의 AI 모델을 일관되게 유지할 수 있다.

모델 업그레이드 정책 수립

조직은 모델 업그레이드 정책을 수립해야 한다. 정책에는 모델 업데이트 프로세스를 관리하는 방안이 포함되어야 하며, 구체적으로 어떤 모델 버전으로 전환할 것인지 결정하는 과정도 명확히 해야 한다. 단순히 자동 업데이트를 활성화한 채 새로운 모델이 기존 모델과 동일하게 작동할 것이라 기대하는 것은 위험하다.

모델 업데이트에서 가장 중요한 단계는 테스트다.

기존 모델을 평가하는 데 사용한 테스트 환경(test harness) 과 테스트 지표를 보존해야 한다. 새로운 모델을 테스트할 때, 기존 평가 지표를 다시 설정해야 하는 상황을 피하려면, 테스트 환경을 유지하는 것이 중요하다. 이를 통해 새로운 모델의 결과를 기존 모델과 비교하며 검증할 수 있다.

많은 조직이 특정 모델 버전에 맞춰 프롬프트를 조정해 사용한다. 하지만 새로운 모델을 도입하면, 기존 프롬프트가 예상과 다르게 작동할 수 있다. 따라서 모델 업그레이드 과정에서는 프롬프트 테스트 및 조정(prompt tuning)이 반드시 포함되어야 한다. 이를 통해 사용자 경험을 일관되게 유지하고, 모델 변경으로 인한 신뢰 저하를 방지할 수 있다.

또한, 모델 평가 시에는 관련성(relevance), 일관성(coherence), 신뢰성(groundedness) 등의 지표를 수집해야 한다. 이러한 지표를 기존 모델과 비교함으로써, 새 모델이 기대하는 성능을 제공하는지 확인할 수 있다.

결과적으로, 새로운 모델의 출력값과 기존 모델의 결과를 비교할 수 있는 명확한 지표와 테스트 데이터를 준비해야 한다. 이를 통해, 조직 내 이해관계자들에게 모델 변경이 성능과 품질에 미치는 영향을 객관적으로 설명할 수 있다.

AI 거버넌스: 조직 전체가 함께 움직여야 한다

AI 거버넌스 구축을 주저하지 말고, 지금부터 조직 내 거버넌스 계획 수립에 참여해야 한다. 이는 AI 거버넌스를 처음부터 새롭게 설계하는 경우에도, 기존 거버넌스 체계를 확장하는 경우에도 마찬가지다.

거버넌스 모델을 마련하면, 조직 내 모든 구성원이 같은 방향을 바라보며, 일관된 정책과 절차를 따를 수 있다. 하지만 거버넌스 계획은 특정 부서에서만 일방적으로 결정할 수 있는 것이 아니다. 조직의 모든 부서가 적극적으로 의견을 내고, 실제 운영 환경을 반영하는 정책을 만들어야 한다.

각 팀은 자신의 업무 영역에 맞는 정책과 분류 체계를 고민해야 한다. 이를 기반으로 조직 전체가 AI 거버넌스 모델을 구축하면, 보다 균형 잡힌 정책이 수립될 수 있다.

그러나 거버넌스 정책이 마련되었다고 해서, 개발 및 배포를 담당하는 팀이 이를 따르지 않는다면 의미가 없다. 거버넌스가 제대로 작동하지 않으면, 조직이 목표하는 AI 전략을 달성할 수 없게 된다. 또한, 법적 문제 대응, 신뢰성과 공정성 확보, 투명성 유지, 리스크 관리 등이 어려워진다.

결국, AI 거버넌스의 성공 여부는 정확한 정책 수립, 체계적인 실행, 리더십의 적극적인 관리에 달려 있다. 올바른 거버넌스를 구축하고 운영하는 것이야말로, AI 기술이 조직에 실질적인 비즈니스 가치를 제공할 수 있도록 하는 유일한 방법이다.

필자 스티븐 카우프만은 마이크로소프트 CTO 산하 부서인 마이크로소프트 고객성공사업부(Microsoft Customer Success Unit)의 수석 아키텍트로서 AI와 클라우드 컴퓨팅 분야를 담당하고 있다. 카우프만은 대규모 기업 고객을 대상으로 30년 이상의 경험을 보유하고 있으며, 초기 개념부터 특정 애플리케이션 아키텍처, 설계, 개발, 구현에 이르기까지 AI를 이해하고 활용하는 데 도움을 제공하고 있다.
[email protected]