칼럼 | 스스로 행동하는 AI 시대···기업이 ‘AI 책임 구조’를 재정의하려면

AI가 스스로 거래를 실행하거나, 대출을 승인하고 계약을 협상하는 상황에서는 단순히 무슨 문제가 있었는가보다 ‘누가 책임을 져야 하는가’가 핵심 질문이 된다.

이런 질문에 대한 해답은 점점 더 시급해지고 있다. AI가 단순히 조언하는 단계를 넘어, 여러 단계를 스스로 계획하고 실행하는 ‘에이전틱(Agentic)’ 시스템으로 진화하고 있기 때문이다. AI가 예기치 않게 행동한다면 더 이상 책임 문제를 사후에 논의할 수 없다.

CIO와 CISO 모두가 잘 알고 있듯, 이 문제의 해답은 ‘통제권’과 ‘분명한 의도’에 달려있다. AI의 개발, 배포, 그리고 운영 감독 전 단계에서 이 두 요소가 어디에 위치하는지를 명확히 파악하는 것이야말로 위험을 관리하고, 적절한 검증을 수행하며, 불필요한 규제 리스크를 피하는 핵심 열쇠가 된다.

책임 소재의 이동 경로

AI 시스템의 전체 수명 주기에서 처음에는 개발자나 제조사에 책임이 있다. 이들의 기본 의무는 안전한 코드 작성, 안정적인 모델 학습, 철저한 테스트, 그리고 한계에 대한 투명한 공개다. 만약 AI가 잘못된 훈련 데이터나 안전하지 않은 설계로 피해를 초래한다면, 그 결함에 대한 책임은 개발 단계에 있다.

하지만 AI가 실제로 배포되면 위험은 빠르게 기업으로 옮겨간다. 시스템을 운영하는 기업이 실제 사용 환경을 통제하고, 정책을 수립하며, 관리 체계와 설정을 결정하기 때문이다. 만약 자율 거래 봇이 내부 거버넌스 부재로 포트폴리오를 과도하게 확장했다면, 이는 벤더의 결함이 아니라 기업의 관리 실패로 봐야 한다.

오늘날 대부분의 위험은 이 지점에 존재한다. 즉, 벤더가 제공하는 기술과 기업이 관리 및 통제하는 방식 사이의 간극에서 비롯된다.

IBM의 ‘2025 데이터 유출 비용 보고서’에 따르면, AI는 이미 보안과 거버넌스 체계보다 훨씬 빠른 속도로 확산되고 있다. 그 결과, 기업들은 통제 장치가 충분히 마련되지 않은 상태에서 일단 도입하는 방식을 택하고 있다. 해당 보고서는 관리되지 않은 AI 시스템이 침해될 가능성이 높다고 지적하며, 실제로 사고가 발생했을 때 피해 규모도 훨씬 크다고 설명했다. 또한 전체 기업의 63%가 AI 관리 정책을 갖추지 못한 채 운영 중이며, ‘섀도우 AI(Shadow AI)’의 확산을 방지할 체계도 부재한 것으로 나타났다.

CISO 관점에서는 특히 주목해야 할 3가지 새로운 책임 공백이 있다.

1. 신뢰와 통제의 공백: 자율적으로 작동하는 AI가 감독 부실로 인해 피해를 초래할 위험
2. 감사 추적의 공백: AI가 어떤 근거로 결정을 내렸는지 추적하거나 설명할 수 없는 문제
3. 서드파티 연계의 공백: 벤더 간 상호작용 과정에서 책임 경계가 불명확해질 위험

AI 수명 주기 전반에서의 책임 재정립

CIO와 CISO는 AI에 대한 책임을 특정 개인이나 단일 부서의 문제로 한정해서는 안 된다. AI의 모델 운영(ModelOps) 전 과정에 걸친 관리 체계를 기준으로 책임을 설정해야 한다.

데이터 관리자(입력 단계)

데이터 관리자는 학습 데이터의 무결성과 편향을 관리할 의무가 있다. 데이터 계보가 불투명하면 예측 가능한 피해가 발생할 수 있다. 따라서 각 AI 시스템에는 데이터 출처, 편향 검증, 거버넌스 승인 내역 등을 기록한 ‘AI 팩트시트’가 있어야 한다. 이는 미국 국립표준기술연구소(NIST)가 발표한 ‘AI 위험관리 프레임워크’에서도 모범 사례로 제시되고 있다.

모델 관리자(비즈니스 단계)

AI를 실제 업무에 활용하는 비즈니스 부문 리더는 해당 AI가 만들어내는 비즈니스 성과와 그로 인한 결과에 대한 책임을 져야 한다. 배포에 앞서, 모델은 반드시 적대적 테스트(adversarial testing)를 거쳐 안전 장치가 제대로 작동하는지를 검증해야 한다. 최근 조사에 따르면 전체 기업의 82%가 여러 부문에서 AI를 활용하고 있다고 응답했지만, 이 가운데 완전한 AI 거버넌스 체계를 갖춘 곳은 25%에 불과해 여전히 많은 기업이 위험 통제와 책임 구조를 충분히 갖추지 못하고 있는 것으로 나타났다.

통제 관리자(감독 단계)

통제 관리자는 AI 시스템의 지속적인 모니터링, 성능 편차 탐지, 이상 징후 보고 및 대응에 대한 실질적 책임을 진다. 이는 앞서 IBM이 지적한 ‘신뢰와 통제의 공백’을 직접적으로 해소하는 역할이다. 선도 기업은 감독 기능을 체계화하기 위해 AI 거버넌스 위원회(AIGC)를 구성하고 있다. 이 위원회는 CIO, CISO, 법무 책임자가 공동으로 주도하며, 고위험 AI 활용 사례를 검토 및 승인하고 책임 주체를 공식적으로 지정한다.

그렇다면 기업 운영에서 신뢰와 통제를 어떻게 구현할 수 있을까? 책임 구조를 재정립한다는 것은 단순히 거버넌스 원칙을 세우는 것을 넘어, 실행 가능한 기술적 통제 방안을 마련하는 과정까지 포함한다.

• AI의 권한 최소화: 모든 사람이 관리자 권한을 갖지 않듯, 에이전틱 AI도 업무 수행에 필요한 최소한의 접근 권한만 가져야 한다. 예를 들어 고객 서비스용 챗봇이 재무 기록을 수정할 수 있다면, 이는 AI의 오류가 아니라 보안 정책의 실패다. AI의 권한 설정은 기술적 통제의 출발점이자, 자율 시스템이 오작동하더라도 피해를 최소화하기 위한 기본 안전장치다.
• 법적 통제를 위한 설명 가능성: 채용, 대출, 의료 등 고위험 영역에서는 AI의 설명 가능성이 선택 사항이 아니라 ‘증거’다. IBM의 AI 거버넌스 원칙에 따르면, 감사 로그와 의사결정 기록은 이제 규제 준수를 입증하는 핵심 증거로 자리 잡았다.

AI로 인한 피해 발생 시 실제 관리 증거가 중요

AI가 자율적으로 행동해 피해를 초래했을 때, “정책을 갖고 있었다”라는 말만으로는 규제 기관이나 법원을 설득할 수 없다. 이제 사전 관리는 단순한 선언이 아니라 증거로 입증돼야 한다. 즉, 피해가 발생하기 이전에 거버넌스 체계가 실제로 작동하고 있었다는 문서화된 증거, 그리고 사고 발생 시점에도 통제 장치가 정상적으로 운영되고 있었다는 기록을 제시해야 한다.

증거 1. 거버넌스 체계 입증

AI가 실제로 사용되기 전에 위험 등급과 자율성 수준에 따라 분류했는지, AIGC의 승인 절차를 거쳤는지, 그리고 취약점 검증(레드팀 테스트)을 수행했는지를 명확히 보여줘야 한다. 특히 금융, 의료, 법률 등 고위험 분야의 AI 시스템은 배포 전에 지속적인 모니터링 체계와 사람의 명확한 책임 구조가 마련돼 있어야 한다.

증거 2: 통제 장치의 효과 입증

안전 장치가 실제로 기술적으로 작동했음을 보여줘야 한다. 최소 권한 제한이 적용된 로그, 성능 편차 탐지 기록, 킬 스위치와 같은 사람 개입 장치 등이 정상적으로 작동했음을 입증하는 데이터가 이에 해당한다.

증거 3: 사후 조치 추적가능성 확보

AI의 의사결정 과정을 추적할 수 있는 설명 가능한 로그를 유지해야 한다. 현재 미국과 유럽의 규제 제안 모두 ‘합리적 조직 행동(reasonable organizational behavior)’을 입증할 문서화된 기록을 요구하는 방향으로 나아가고 있다. 또한 보험사들 역시 AI 관련 피해를 보상하기 전, 사고 경위를 입증할 수 있는 포렌식 수준의 근거를 요구하는 추세다.

혁신과 책임의 균형이 필요

AI 책임 문제에 대한 우려에도 불구하고 기업은 혁신을 멈추지 않고 있다. 대신 혁신의 방식을 재정의하며 위험을 통제할 수 있는 체계를 마련하고 있다. 대부분의 조직은 현재 에이전틱 AI를 고객 경험 개선, 지식 요약, 내부 업무 자동화 등 위험도가 낮으면서도 비즈니스 가치가 높은 영역에 시험 적용하고 있다.

최근 조사에 따르면, 전체 기업의 44%가 비용 절감, 고객 서비스 개선, 사람 개입 최소화를 위해 향후 1년 안에 에이전틱 AI를 도입할 계획인 것으로 나타났다.

일부 기업은 AI의 오작동이나 예측 불가능한 행동으로 인한 위험 노출을 최소화하기 위해, ‘제한된 자율 모델(Constrained Autonomy Model)’이라는 새로운 운영 방식을 채택하고 있다.

• 샌드박스 우선 원칙: 검증되기 전까지는 실제 환경과 분리되고 시스템에 쓰기 권한이 없는 폐쇄적 테스트 환경에서만 에이전틱 AI를 운영한다.
• 역할 기반 접근제어(RBAC): AI를 신입 직원처럼 취급해, 감독 가능한 일부 역할만 수행하도록 한다.
• 킬 스위치: AI 자체 시스템이 오류를 일으키더라도, 사람이 직접 작동시킬 수 있는 강제 정지 메커니즘을 의무화한다.
• 단계별 자율성: 예를 들어, AI가 500달러 이하의 환불을 자동으로 처리하도록 하더라도, 그 이상 금액은 반드시 사람의 검토를 거치도록 설계한다.

이 접근법의 핵심 목표는 안전하게 혁신할 권리를 확보하는 것이다. 즉, 단기간의 투자 대비 성과(ROI)를 입증하면서도, 향후 더 높은 위험 수준의 AI를 배포할 때 필요한 거버넌스 체계와 통제 역량을 단계적으로 강화하는 데 있다.

소비자용 AI의 책임 압박

소비자에게 직접적으로 제공되는 AI 서비스는 해당 브랜드가 즉각적인 책임을 진다. 벤더가 기술적 결함에 대한 법적 책임을 질 수는 있지만, 고객과의 관계, 그리고 여론의 부담은 결국 브랜드가 감당해야 한다.

다만 벤더 역시 더 큰 압박에 직면하고 있다. 최근 유럽연합이 추진 중인 ‘AI 책임 지침(AI Liability Directive)’은 제품의 정의를 소프트웨어까지 확장함으로써 AI 벤더에게도 책임을 부과하는 방향으로 진화하고 있다. 사법 당국 또한 책임 소재를 분리하는 판례를 내놓고 있다. 즉, 모델 수준의 결함은 벤더의 몫으로 하고, 운영 및 배포 과정의 관리 부실은 기업의 책임으로 구분되는 추세다.

CIO와 CISO는 벤더 계약서에 AI 책임 조항과 감사 권한을 반드시 포함해, 문제가 발생했을 때 어느 쪽이 어떤 범위의 책임을 지는지 명확히 해야 한다. 책임 한도는 단순히 구독료를 기준으로 일괄 적용되는 것이 아니라 AI 위험도에 따라 조정돼야 한다.

계약 및 SLA가 새로운 위험 관리 도구로 부상

AI 책임 소재는 이제 기술을 넘어 계약 문제로 확장되고 있다. 서비스 수준 계약(SLA)은 가동 시간과 성능 보장을 명시할 뿐만 아니라 신뢰, 안전, 모델 편차까지 지표로 포함해야 한다. AI와 관련된 핵심 계약 조항은 다음과 같다.

• 데이터 품질 및 편향 보증: 벤더는 훈련 데이터의 무결성과 공정성을 공식적으로 보증해야 한다.
• 감사 및 투명성에 대한 권리: 시스템 오류나 사고 발생 시, 기업은 모델 문서와 의사결정 로그에 접근할 수 있는 권리를 계약서에 명시해야 한다.
• AI 사고 대응 SLA: AI가 자율적으로 오작동하거나 침해 사고가 발생했을 때, 벤더가 어떤 대응을 얼마나 신속하게 해야 하는지를 구체적으로 규정한다.

법률 전문가들은 이를 ‘AI 책임 조항’이라고 부른다. AI의 사전 배포 단계부터 사고 이후의 조사 과정까지 책임을 명확히 규정하는 계약 조항을 의미한다. AI 책임은 향후 2년 내에 측정 가능한 제도적 기준으로 자리 잡을 전망이다. AI 책임 규범은 이미 시행 단계에 접어들었으며, 4가지 변화가 나타나고 있다.

1. 모델 개발 단계와 배포 단계의 결함 구분: 사법 당국은 AI의 결함이 벤더의 기술적 문제인지, 혹은 기업의 운영상 책임인지 구분할 전망이다.
2. 파편화되는 규제: EU AI법이 글로벌 최소 준수 기준을 제시하는 한편, 미국은 주별로 산업 특화형 규제를 도입하는 흐름을 보이고 있다.
3. AI 리스크의 금융화: 보험사는 매출 규모가 아닌 AI 거버넌스의 성숙도를 기준으로 보험료를 책정할 가능성이 높다.
4. 설명 가능성 의무: AI의 ‘블랙박스’ 방어 논리는 더 이상 통하지 않는다. 감사 로그와 AI 의사결정 과정에 대한 문서화가 새로운 규제 최소 요건으로 자리 잡을 것이다.

미국 FTC의 ‘AI 규제 준수 캠페인(Operation AI Comply)’과 전 세계적 규제 움직임은 분명한 메시지를 제시하고 있다. 이제 AI 리스크 관리는 선택이 아니라 기업 운영의 필수 요소가 되고 있다는 점이다. CIO와 CISO는 거버넌스를 단순히 규제 대응을 위한 수단이 아니라, AI의 데이터, 모델, 통제 계층을 아우르는 기술적·조직적 엔지니어링 기능으로 내재화해야 한다.
dl-ciokorea@foundryco.com