벤더의 AI 사용이 위험 요소가 될 때···기업을 구할 ‘핵심 계약 조항’ 4가지

맥킨지(McKinsey) 보고서에 따르면 오늘날 전체 기업의 78%가 최소 한 가지 이상의 비즈니스 영역에 AI을 활용하고 있다.

이는 곧 기업이 관리해야 할 AI 리스크가 내부 시스템에만 국한되지 않는다는 의미일 수 있다.

리스크의 범위는 이제 협력사와 벤더로 확장되고 있다. 기업은 중요한 질문을 제기할 시점이다. ‘협력사 혹은 벤더가 AI를 업무에 활용하고 있을 때, 문제가 생기기 전에 그 사실을 알아차릴 수 있을까?’라는 질문이다. 벤더의 챗봇이 민감한 데이터를 잘못 처리하거나, 알고리즘이 편향된 결과를 내거나, 협력사가 기업 데이터를 활용해 자체 모델을 학습시킨다면 규제 위반이나 평판 훼손으로 이어질 수 있다. 계약서상에서 이런 리스크에 미리 대비하지 않는다면 그 책임은 결국 기업에 전가될 가능성이 높다.

AI 리스크를 선제적으로 관리하기 위해 기업이 마련해야 할 조치는 다음과 같다.

• AI가 어디에서, 어떤 방식으로 사용되는지 벤더가 명확히 공개하도록 요구할 것
• 자사 데이터가 외부 모델에 활용되는 방식을 제한할 것
• 중요한 의사결정에는 반드시 사람의 검토 절차를 의무화할 것
• AI 오류나 편향으로 인한 책임을 벤더에게 명확히 물을 것

이는 단순한 법적 조항이 아니라, 기업 외부의 AI 리스크를 관리하는 첫 번째 방어선이 된다.

1. AI 사용 공개 요구

보이지 않는다면 통제할 수도 없다. 벤더가 서비스를 제공하는 과정에서 AI를 어디에, 어떤 방식으로 사용하는지 공식적으로 공개하도록 해야 한다. 챗봇처럼 눈에 띄는 AI 도구뿐 아니라 생산성 도구에 내장된 기능, 자동화된 분석 시스템, 서드파티 플러그인도 포함된다.

AI 사용 내역이 공개되지 않는다면 기업은 자신도 모르는 사이 AI가 생성한 결과물을 기반으로 업무를 수행할 가능성이 있다. 여러 국가에서 사업을 운영하는 기업의 경우, 이로 인해 규제 위반의 위험성이 매우 커진다.

이는 단순한 우려가 아니다. 맥킨지에 따르면 전체 기업의 약 80%가 AI를 활용하고 있지만, 그중 AI 사용례를 완전히 파악하고 문서화하고 있는 곳은 21%에 불과한 것으로 나타났다. 다시 말해 기업 내부에서조차 AI 활용이 투명하게 관리되지 않고 있는 상황이다. 이런 결과는 ‘섀도우 AI(Shadow AI)’가 얼마나 쉽게 업무 흐름에 스며들 수 있는지, 벤더에게 AI 활용 실태를 명확히 드러내도록 요구하는 일이 얼마나 중요한지를 보여준다.

실행 방안

요청이 있을 때만 AI 사용 현황을 공개하는 것이 아니라 사전에 능동적으로 이뤄져야 한다는 점을 계약서에 명확히 언급해야 한다. 예를 들어, 유럽연합(EU)의 AI 법(AI Act)은 고객과 직접 상호작용하는 서비스에서 AI를 활용할 경우, 그 사실을 반드시 투명하게 공개하도록 요구하고 있다.

2. 데이터 사용 제한 조항

데이터는 기업의 핵심 자산이지만, 한 번 통제권을 벗어나면 어떻게 활용되는지 파악하기 어렵다. 많은 AI 벤더가 고객 데이터를 자사 모델 학습 및 개선에 활용하려 한다. 만약 계약서에 이를 명시적으로 제한하는 조항이 없다면 민감한 데이터가 기업 통제를 벗어나는 시스템으로 흘러들어가거나, 심지어 경쟁사가 모델 학습에 활용하는 일도 발생할 수 있다. AI 사용례에 대한 산업 전반의 투명성이 부족하기 때문에, 데이터가 기업의 동의 없이 다른 용도로 재사용되고 있는지 확인하기는 현실적으로 매우 어렵다.

실행 방안

기업의 데이터가 외부 모델 학습에 사용되거나, 벤더의 제품 및 서비스에 통합되거나, 다른 고객과 공유돼선 안 된다는 점을 계약서에 분명히 포함해야 한다. 또한 모든 데이터 처리 행위는 GDPR, HIPAA, CCPA 등 적용 가능한 가장 엄격한 프라이버시 보호 의무를 준수해야 하며, 계약이 종료된 이후에도 의무가 계속 유효하다는 점을 명시해야 한다.

3. 사람의 감독 요구

AI는 업무 효율을 높이고 비용을 절감하는 동시에 통제되지 않는 위험 요소를 수반한다. 사람은 자동화된 결과를 맥락에 맞게 해석하고 편향 여부를 검토하며, 시스템이 잘못된 방향으로 작동할 경우 수정하는 역할을 한다. 이 과정이 생략되면 기업은 AI의 효율성에 가려진 결과의 오류나 편향 같은 핵심 리스크를 놓칠 수 있다. 규제 환경도 이를 보호하는 방향으로 움직이고 있다. 예를 들어 EU의 AI 법은 ‘고위험 AI 시스템’이 반드시 문서화된 사람 감독 체계를 갖추도록 요구하고 있다.

사람의 검토 절차를 생략했을 때의 위험성은 이미 현실에서 나타나고 있다. 가령 한 미국의 한 벤더는 자사의 AI 기반 채용 소프트웨어가 인종, 연령, 장애를 기준으로 지원자를 차별했다는 이유로 고용평등위원회(EEOC)에 제소됐다. 이 사건은 2025년 9월까지도 해결되지 않았다. 편향 문제는 벤더의 시스템에서 비롯됐지만 소송은 연방 고용법을 기준으로 제기됐다. 다시 말해 벤더의 도구를 사용한 기업 역시 책임에서 자유롭지 않다는 의미다.

이 사례는 서드파티 계약에 있어 반드시 유념해야 할 핵심 교훈을 제시한다. 벤더의 AI가 잘못된 판단이나 편향된 결과를 내면, 규제 당국과 법원은 기술 제공자만 보는 것이 아니라 해당 도구를 실제로 사용한 기업에도 책임을 묻는다는 점이다.

실행 방안

벤더와의 계약서에 구체적인 감독 절차를 명시해야 한다. 예를 들어, AI가 제시한 채용 추천 결과는 반드시 자격을 갖춘 인사 담당자가 검토하도록 규정할 수 있다. 또한 검토가 형식적으로 끝나지 않도록, 실제로 이행되는 내부 관리 프로세스를 함께 구축해야 한다.

4. 오류 및 편향에 대한 책임 규정

AI가 잘못된 판단을 내리면 대가는 막대할 수 있다. 기업의 평판이 손상되고 규제 당국의 제재나 과징금으로 이어질 수 있다. 이때 핵심은 ‘누가 그 책임을 져야 하는가’다. 계약서에 명확한 조항이 없다면 문제의 원인이 벤더의 AI 도구에 있더라도 기업이 피해 보상 책임을 떠안을 가능성이 높다.

많은 AI 벤더가 이런 위험을 피하기 위해 법적 책임 한도를 제한하고 있다. 한 조사에 따르면 전체 AI 기술 벤더의 88%가 손해배상 한도를 ‘한 달치 구독료 이하’로 설정하고 있다. 이는 실제 AI 소프트웨어 계약을 기반으로 한 수치지만, 계약서에서 명확히 요구하지 않는 한 대부분의 벤더가 AI 오류에 대해 실질적인 책임을 지지 않는다는 점을 보여준다. 책임의 불균형은 매우 중요한 요소다. 규제 기관과 법원은 AI를 만든 회사보다 해당 도구를 실제 업무에 사용한 기업을 먼저 책임 주체로 본다.

실행 방안

차별적인 결과물 생성, 규제 위반, 재무나 운영상의 오류 등 AI로 인한 문제를 명확히 다루는 책임 조항을 모두 계약서에 포함해야 한다. 일반적인 면책 조항으로는 충분하지 않다. 대신 ‘AI 관련 책임’ 항목을 별도로 두고 잠재적 피해 규모에 따라 보상 범위와 구제 절차를 구체적으로 명시해야 한다.

AI 계약이 곧 거버넌스의 출발점

벤더가 자사 서비스에 AI를 더 깊이 통합하면서, 책임 문제나 편향, 데이터 오남용 같은 리스크가 점점 더 빠르게 기업의 문제로 번지고 있다. 지금까지 살펴본 계약 조항들은 AI 리스크로부터 기업을 보호하기 위한 출발점이지만, 그것만으로 충분하지는 않다. AI 계약은 내부 관리 체계와 함께 작동해야 한다. AI 사용 현황을 지속적으로 관리하고, 직원 교육을 통해 기술 이해도를 높이며, 책임 있는 활용 원칙을 명확히 세우는 등의 내부 거버넌스가 병행될 때 효과적인 보호 체계가 완성된다.

규제 당국은 빠르게 움직이고 있으며, 소송을 통해 책임 범위를 시험하는 사례도 늘고 있다. 한편 벤더는 여전히 법적 책임을 고객에게 전가하려는 움직임을 보이고 있다. 이 변화 속에서 살아남는 기업은 계약을 단순한 행정 절차가 아닌, AI 리스크 관리 체계의 핵심 요소로 인식하는 곳일 가능성이 높다. 계약서에 AI 사용 공개, 데이터 보호, 인간 감독, 책임 규정 등을 명확히 포함시키는 것은 기술이 앞으로 어떻게 발전하든 기업을 지켜주는 안전 장치를 마련하는 일이다.
dl-ciokorea@foundryco.com