AI 시대의 역설, 의사결정은 분산되고 책임은 집중

연휴로 대부분의 직원이 자리를 비운 주말, 핵심 시스템이 갑작스럽게 멈춘다. AI 기반 워크플로우가 중단되거나, 더 나아가 대규모로 잘못된 의사결정을 내려 제품 가격을 잘못 책정하거나 민감한 데이터를 노출할 수도 있다. 이 순간 조직 이론은 무의미해지고, ‘누가 책임을 지는가’라는 질문이 즉각적으로 제기된다.

AI가 실험 단계를 넘어 운영 환경으로 확산되면서 책임 문제는 더 이상 기술 영역에 머물지 않는다. 이제는 경영진이 직접 다뤄야 할 사안이다. 거버넌스 프레임워크는 법무, 리스크, IT, 사업 부서 간 책임이 분산된다고 설명하지만, 실제 사고가 발생하면 법원은 책임을 훨씬 좁은 범위로 판단할 가능성이 크다.

결국 AI는 의사결정을 분산시킬 수는 있지만, 법적 책임까지 분산시키지는 못한다.

법정에 서는 것은 AI가 아닌 ‘사람’

AI 시스템이 중요한 의사결정에 영향을 미쳤더라도, 법정에 서는 것은 알고리즘이 아니라 사람이다. AI·지식재산권 전문 변호사이자 리버리지 리걸 그룹(Leverage Legal Group) 설립자인 제시카 이브스 매튜스는 “법정에 서게 되는 것은 AI가 아니라 이를 개발하거나 배포하거나 활용한 인간”이라고 말했다.

다만 현재로서는 이러한 책임 판단을 뒷받침할 판례가 거의 없다는 점이 가장 큰 불확실성으로 꼽힌다. 매튜스는 “아직 많은 부분이 추정 단계에 머물러 있다”라며 “초기 인터넷 시절처럼 기존 법 체계가 새로운 기술에 어떻게 적용되는지 정립해가는 과정”이라고 설명했다.

규제 당국은 책임을 알고리즘에 전가할 수 없다는 점을 분명히 하고 있다. 그러나 공급업체, 도입 기업, 경영진 간 책임이 어떻게 배분될지는 여전히 불확실하다. 다만 이 같은 불확실성이 오래 지속되지는 않을 전망이다. 매튜스는 “잘못된 사례의 전형이 될 기업들이 등장할 것”이라며 “현재 진행 중인 사건들이 향후 기준을 결정하게 될 것”이라고 말했다.

대부분의 경우 책임은 시스템을 도입한 조직, 즉 해당 AI를 실제 운영에 적용한 기업에 우선적으로 귀속된다. 매튜스는 “외부 공급업체에서 구매했다는 사실만으로는 책임 회피 사유가 되기 어렵다”라고 덧붙였다.

이 같은 판단은 기술은 새롭지만 법적 원칙은 기존과 크게 다르지 않다는 점을 보여준다. 피해를 예방할 수 있는 위치에 있었던 주체가 책임을 진다는 것이다. AI 환경에서도 이 원칙은 동일하게 적용된다. 다만 실제로 적절한 통제와 보호 조치가 있었음을 입증하는 과정은 훨씬 복잡해지고 있다.

CIO, 사실상 시스템의 최후 방어선

법적 책임이 기업에 귀속된다면, 운영상의 책임은 CIO에게 집중되는 경우가 많다. 대부분의 조직에서 CIO가 AI 자체를 직접 관리하지는 않지만, AI가 작동하는 시스템과 인프라, 데이터 파이프라인은 CIO의 관할이기 때문이다.

글로벌 IT 서비스 기업 DXC 테크놀로지(DXC Technology) 글로벌 인프라 서비스 부문 사장이자 전 GE 글로벌 CIO·CTO인 크리스 드럼굴은 “CIO는 원하든 원하지 않든 이제 AI 거버넌스와 리스크 관리의 중심에 서게 됐다”라고 말했다.

이 같은 흐름은 점점 반복되고 있다. 사업 부서가 공식 절차를 거치지 않고 AI 도구를 실험하고, 초기 성과는 긍정적으로 나타난다. 이후 도입은 빠르게 확대되지만 통제 체계는 뒤처진다. 결국 문제가 발생하면 CIO가 가장 먼저 해결해야 할 대상이 된다. 드럼굴은 “문제가 터지면 CIO가 먼저 해결을 요구받고, 이어 왜 이런 일이 발생했는지 설명해야 한다”라고 말했다.

특히 ‘섀도우 AI’의 확산은 이러한 구조를 더욱 심화시키고 있다. 과거 섀도우 IT와 달리, AI는 비용이나 효율성 문제를 넘어 데이터 유출, 규제 리스크, 평판 훼손 등 훨씬 큰 위험을 동반한다.

드럼굴은 “이제는 누구나 AI 전문가처럼 행동한다”라며 “도구 접근성이 높아지고 개념 검증까지 걸리는 시간이 몇 분 수준으로 줄었다”라고 설명했다. 이로 인해 CIO는 자신이 완전히 통제하지 못하는 시스템뿐 아니라 직접 승인하지 않은 의사결정까지 책임져야 하는 구조적 불균형에 놓이게 된다.

결국 CIO는 거버넌스 체계에서 공식적으로 지정된 역할이 아니더라도, 현실적으로 기업의 ‘최후 방어선’ 역할을 맡게 되는 상황이다.

분산된 책임 구조의 착시

대부분의 조직은 단일 책임자를 중심으로 거버넌스를 설계하지 않는다. 대신 AI의 특성을 반영해 여러 부서가 참여하는 분산형 구조를 구축하고 있다.

거버넌스 소프트웨어 개발 업체 원트러스트(OneTrust) 프라이버시·데이터 거버넌스 부문 SVP 겸 GM인 오자스 레지는 이러한 분산이 불가피하면서도 동시에 오해를 불러일으킬 수 있다고 지적했다. 그는 “AI 거버넌스는 법무, 컴플라이언스, 리스크, IT, 사업 부서를 모두 아우른다”라며 “단일 조직이 이를 처음부터 끝까지 관리하는 것은 불가능하다”라고 말했다.

그러나 책임이 분산된다고 해서 결과에 대한 책임까지 동일하게 나뉘는 것은 아니다. 레지는 “결과에 대한 책임은 여전히 사업 부서에 있다”라며 “AI 시스템에 의존한다면 그에 따른 책임도 스스로 감당해야 한다”라고 강조했다.

현실에서는 거버넌스가 분절된 형태로 운영된다. 법무팀은 규제 리스크를 해석하고, 리스크 및 컴플라이언스 조직은 관리 체계를 정의하며, IT는 시스템을 보호하고 운영한다. 이로 인해 겉으로는 책임이 분산된 것처럼 보이지만, 실제 문제가 발생하면 책임은 특정 지점으로 집중되는 구조가 형성된다.

결제 사기 방지 플랫폼 트러스트페어(Trustpair)의 공동 창립자이자 CAIO인 사이먼 엘참은 “AI는 책임을 대체하지 않는다”라며 “오히려 문제가 발생할 수 있는 지점을 늘린다”라고 말했다.

문제는 이러한 위험 지점이 계속 늘어나고 있다는 점이다. 기존의 보안과 프라이버시 문제를 넘어, 이제 기업은 알고리즘 편향과 차별, 지식재산권 침해, 영업비밀 유출, 모델 결과의 낮은 설명 가능성까지 관리해야 한다.

각 리스크는 서로 다른 부서가 담당할 수 있지만, AI 시스템에서는 이들이 동시에 얽히는 경우가 많다. 이때 책임의 경계는 흐려진다. 앞서 매튜스가 강조했듯, 최종 책임은 결국 피해를 예방할 수 있었던 주체에게 돌아간다. 문제는 AI 환경에서는 여러 이해관계자가 동시에 그 역할을 주장하거나 부인할 수 있다는 점이다.

결과적으로 AI 거버넌스는 설계상으로는 분산되어 있지만, 실제 운영에서는 일관성이 부족한 구조로 나타난다.

CAIO의 등장과 한계

이 같은 불확실성을 해소하기 위해 일부 기업은 새로운 리더십 역할을 도입하고 있다. 최고AI책임자(CAIO)는 혁신을 저해하지 않으면서도 감독 기능을 중앙화하려는 시도다.

보험 업계를 위한 대화형 플랫폼 기업 하이 말리(Hi Marley)의 CTO인 조너선 투시먼은 최근 CAIO 역할을 추가로 맡으며 AI 인프라와 거버넌스에 대한 경영진 차원의 책임을 명확히 했다.

투시먼은 “AI 운영 조직은 내부에서 AI를 구축하고 운영하는 역할을 맡고, 제품에 적용되는 AI는 CTO와 제품 리더십이 책임진다”라며 “컴플라이언스와 법무는 독립적인 견제와 균형 역할을 수행한다”라고 설명했다.

이 구조의 목적은 갈등을 제거하는 것이 아니라, 이를 제도화하는 데 있다. 그는 “AI를 추진하는 조직과 이를 견제하는 조직이 모두 필요하다”라며 “그 긴장 관계에서 가치가 만들어진다”라고 강조했다.

이는 기업 거버넌스가 중앙집중형 통제에서 벗어나 속도와 안전, 혁신과 규제 준수 간 균형을 관리하는 방향으로 변화하고 있음을 보여준다.

다만 이 모델 역시 한계를 지닌다. 중요한 의사결정에서 의견 충돌이 발생하면 누군가는 진행 여부를 최종 판단해야 한다. 투시먼은 “대부분의 조직에서는 이 결정이 결국 CEO나 CFO에게 보고된다”라고 말했다.

결국 CAIO는 책임을 조율하는 역할을 할 수는 있지만, 최종 책임까지 대신할 수는 없다. 궁극적인 책임은 여전히 최고 경영진에 남아 있으며, 이는 위임할 수 없는 영역이다.

도입 속도와 거버넌스 간 격차 확대

AI 책임 구조를 둘러싼 조직 모델이 여전히 진화하는 단계에 있는 반면, 실제 도입 속도와 거버넌스 간 격차는 이미 빠르게 벌어지고 있다. 매튜스는 “기업들은 AI를 운영 수준의 속도로 도입하면서도, 거버넌스는 위원회 수준의 속도로 진행하고 있다”라며 “리스크는 바로 이 지점에서 발생한다”라고 지적했다.

이로 인한 문제도 점차 현실화되고 있다. 많은 기업이 조직 전반에서 사용 중인 AI 시스템의 기본적인 목록조차 확보하지 못하고 있다. 여기에 직원들이 개별적으로 도구를 도입하는 ‘섀도우 AI’까지 확산되면서 가시성은 더욱 낮아지고 있다.

리스크는 즉각적이면서도 구조적이다. 직원이 공용 AI 플랫폼에 민감한 기업 데이터를 입력해 영업비밀이 외부로 유출될 수 있고, AI가 생성한 콘텐츠가 저작권을 침해할 가능성도 있다. 또한 AI 기반 의사결정 시스템이 편향되거나 차별적인 결과를 내면서 규제 당국의 조사로 이어질 위험도 존재한다.

명확한 법적 판례가 부족한 상황에서도 규제 기대치는 점점 높아지고 있다. 빠른 도입, 제한적인 거버넌스, 그리고 법적 불확실성이 결합되면서, 소수의 주요 사건이 향후 AI 책임 구조를 규정하게 될 가능성이 크다.

결국 책임은 어디로?

AI 거버넌스가 복잡해질수록 한 가지 흐름은 분명해지고 있다. 책임은 분산될 수 있고 권한도 공유될 수 있으며 새로운 역할이 등장할 수 있지만, 궁극적인 책임은 계속 분산된 상태로 남지 않는다.

시스템 장애가 발생하거나 규제 당국이 개입하는 순간, 책임은 결국 기업 경영진으로 집중된다. 운영 측면에서는 해당 시스템과 가장 밀접한 관련을 가진 임원에게 귀속되는 경우가 많다.

AI는 의사결정 방식을 분산시키고, 의사결정이 이루어지는 경로를 불투명하게 만들며, 기존 통제 개념에 도전한다. 그러나 책임 자체를 없애지는 않는다. 오히려 그 중요성과 무게를 더욱 확대한다.

결국 AI 책임 문제는 완전히 새로운 이슈라기보다, 더 복잡한 시스템 환경 속에서 재구성된 기존의 문제에 가깝다. 차이가 있다면 단 하나다. 시스템의 속도는 훨씬 빨라졌고, 잘못된 판단에 따른 비용은 점점 더 커지고 있다는 점이다.
dl-ciokorea@foundryco.com

• 관련 기사 : AI 기본법 시대 개막…법·산·학이 제시한 IT 리더의 대응 방향은?