지역마다 달라지는 AI 규제···IT 리더가 대비해야 할 핵심 리스크

IT 리더 10명 중 7명 이상은 생성형 AI를 도입하는 과정에서 조직이 변화하는 규제 요구 사항을 따라갈 수 있을지 우려하고 있으며, 앞으로 시행될 규제가 지역에 따라 제각각일 가능성에도 불안감을 느끼고 있다.

가트너(Gartner)의 최근 조사에 따르면, IT 리더의 70% 이상이 생성형 AI 도입과 관련한 주요 과제 중 하나로 규제 준수를 꼽았다. 그러나 이들 중 4분의 1 미만의 응답자만이 생성형 AI 활용 시 보안, 거버넌스, 규제 준수 문제를 효과적으로 관리할 수 있다고 높은 수준의 자신감을 보였다.

가트너 수석 디렉터 애널리스트 리디아 클러허티 존스는 IT 리더들이 점점 늘어나는 AI 관련 규제, 특히 서로 충돌할 가능성이 있는 규제들에 어떻게 대응할지 우려하고 있다고 말했다.

그는 “특히 글로벌 조직의 경우 방대한 법적 세부사항의 수를 감당하기 어려울 수 있다. 각국이 발표하는 규제 프레임워크가 매우 다르기 때문이다”라고 설명했다.

가트너는 AI 규제 위반으로 인해 2028년까지 기술기업의 법적 분쟁이 30% 증가할 것으로 전망했다. 또한 2026년 중반까지는 AI 기반 의사결정 과정에서 발생하는 새로운 유형의 불법 행위로 인해 AI 벤더와 사용자 전체에 걸쳐 100억 달러 이상의 시정 비용이 발생할 것이라고 내다봤다.

초기 단계의 규제

AI 규제에 대한 정부의 움직임은 아직 초기 단계에 머물러 있다. 지난해 8월 시행된 EU AI 법(EU AI Act)은 인공지능 활용을 직접적으로 규제하는 최초의 주요 입법 사례 중 하나로 평가된다.

미국 연방의회는 현재까지 신중한 접근을 유지하고 있지만, 일부 주는 자체적인 AI 규제를 도입하고 있다. 특히 2024년 콜로라도 AI 법(Colorado AI Act)은 AI 사용자에게 리스크 관리 프로그램 운영과 영향 평가 수행을 의무화하고, AI 벤더와 사용자 모두가 알고리즘 차별로부터 소비자를 보호할 책임을 지도록 규정하고 있다.

텍사스주 역시 오는 2026년 1월부터 독자적인 AI 규제를 시행할 예정이다. 이번 법안인 ‘책임 있는 인공지능 거버넌스법(Texas Responsible Artificial Intelligence Governance Act, TRAIGA)’은 정부 기관이 AI와 상호작용할 때 개인에게 반드시 이 사실을 고지하도록 규정하고 있다. 또한 이 법은 AI를 이용해 사람의 행동을 조작하거나 자해를 부추기고 불법 행위에 가담하는 행위를 명시적으로 금지한다.

텍사스 법안 위반 시에는 1건당 최대 20만 달러의 민사 벌금이 부과될 수 있으며, 위반이 지속될 경우 하루 최대 4만 달러의 추가 벌금이 부과된다.

이어 9월 말에는 캘리포니아주 주지사 개빈 뉴섬이 프론티어 AI 투명성 법(Transparency in Frontier Artificial Intelligence Act)에 서명했다. 이 법은 대규모 AI 개발업체가 국가 표준, 국제 표준, 그리고 산업계에서 합의된 모범 사례를 AI 프레임워크에 어떻게 반영했는지에 대한 세부 내용을 공개하도록 요구한다.

캘리포니아 AI 법은 2026년 1월부터 시행될 예정으로, AI 기업이 사이버 공격 등 주요 안전 사고가 발생할 경우 15일 이내에 보고하도록 의무화하고 있다. 또한 법 위반 사실을 신고한 내부 고발자를 보호하기 위한 조항도 포함돼 있다.

공개 및 보고 의무를 이행하지 않을 경우, 위반 1건당 최대 100만 달러의 벌금이 부과될 수 있다.

특히 캘리포니아의 AI 규제는 전 세계 산업계에도 막대한 영향을 미칠 것으로 전망된다. 약 3,900만 명에 달하는 인구 규모는 그 자체로 법의 보호를 받는 잠재적 AI 사용자 기반을 형성하고 있으며, 이는 전 세계 135개국 이상의 인구보다 많은 수준이다.

또한 캘리포니아는 세계 AI 산업의 중심지로, 오픈AI(OpenAI), 데이터브릭스(Databricks), 앤트로픽(Anthropic), 퍼플렉시티AI(Perplexity AI)를 포함한 전 세계 상위 50대 AI 기업 중 32곳의 본사가 위치해 있다. 캘리포니아에서 사업을 운영하거나 서비스를 제공하는 모든 AI 기업이 이번 규제의 적용 대상이 된다.

최전선에 선 IT 리더

시장조사업체 퓨처럼 이퀴티스(Futurum Equities)의 디지털 리더십 및 CIO 부문 부사장인 디온 힌치클리프는 미국 주정부와 각국이 규제 시행에 나서고 있는 만큼 AI를 도입하는 CIO들이 우려하는 것이 당연하다고 말했다.

그는 “CIO는 실제로 기술이 제대로 작동하도록 책임을 지는 위치에 있다. 따라서 어떤 것이 가능한지, 얼마나 정확한지, 그리고 데이터의 신뢰성은 어느 정도인지에 대해 누구보다도 세심하게 주목하고 있다”라고 설명했다.

힌치클리프는 일부 AI 규제 및 거버넌스 준수 솔루션이 존재하긴 하지만, IT 리더 사이에서는 이런 도구들이 빠르게 변화하는 규제 환경과 AI 기능 발전 속도를 따라가지 못할 것이라는 우려가 크다고 분석했다.

그는 “지속적이고 신뢰성 있게 거버넌스와 규제 준수를 관리할 수 있는 도구가 충분히 마련돼 있다고 보기는 어렵다. 오히려 상황은 더 복잡해질 수 있다. 본격적인 규제는 아직 시작조차 되지 않았기 때문”이라고 지적했다.

힌치클리프는 AI 기술의 특성상 규제 준수가 특히 어려울 것이라고 진단했다. 그는 “AI는 매우 다루기 어려운 기술”이라며 “전통적인 시스템이 결정론적 방식으로 작동하는 반면, AI는 확률적으로 동작한다. 즉, 기존 코드화된 시스템이 상정하지 못했던 다양한 상황까지 스스로 해결하려고 시도한다”라고 설명했다.

전자건강기록협회(EHRA) AI 태스크포스 의장인 티나 조로스 역시 분절된 규제 환경이 규제 준수 측면에서 큰 부담이 되고 있다고 지적했다. 그는 “캘리포니아, 콜로라도, 텍사스 등에서 제정되고 있는 다양한 AI 관련 법률이 이미 존재하는 디지털 격차를 더욱 확대할 수 있다. 의료 분야에서는 대형 기관과 달리 AI 도입 속도를 따라가지 못하는 중소 규모 또는 농촌 지역 기관에게 특히 큰 도전이 되고 있다”라고 말했다.

조로스는 이어 “이처럼 각 주가 서로 다른 규제를 시행하면서, 의료 분야 IT 리더들에게는 미로와 같은 규제 환경이 형성되고 있다. 이는 향후 생성형 AI의 개발과 활용 전반에 위축 효과를 초래할 수 있다”라고 내다봤다.

조로스는 IT 리더가 법으로 제정되지 않는 법안 세심하게 분석해야 한다고 조언했다. 발의된 법안이 향후 규제의 방향성과 기대치를 형성할 수 있기 때문이다.

그는 “법률과 규제마다 ‘개발자’, ‘배포자’, ‘고위험’과 같은 핵심 용어의 정의가 서로 달라 혼란이 생기며 업계 전반에 불확실성이 커지고 있다. 특히 소프트웨어 개발자가 이런 문제로 인해 프로젝트를 일시 중단하거나 재검토하는 경우도 늘고 있다. 개발자와 의료 서비스 제공자 모두 현재 개발 중인 도구가 향후에도 규제를 준수할 수 있도록 보장하고 싶어 하기 때문”이라고 설명했다.

계약 관리 소프트웨어 기업 컨트랙트포드AI(ContractPodAi)의 최고 AI 책임자 제임스 토마스는 AI 규제 간의 불일치와 중복이 심각한 문제를 초래하고 있다고 지적했다.

그는 “글로벌 기업 입장에서 이런 분절된 규제 환경만으로도 운영상 큰 부담이 된다”라며 “규제를 지키려 하지 않아서가 아니라, 각 규제가 투명성, 활용 방식, 설명 가능성, 책임성 등의 개념을 서로 다르게 정의하기 때문이다. 북미에서 통하는 기준이 반드시 EU에서 통하는 것은 아니다”라고 설명했다.

거버넌스 도구 활용

토마스는 기업이 AI를 도입할 때 거버넌스 통제와 관리 시스템을 포괄적으로 갖춘 체계적인 접근을 취해야 한다고 조언했다. 그에 따르면 대부분 문제의 근본 원인은 AI 도입이 조직의 전략적 계획이 아닌, 개별 직원이 개인 생산성 도구를 활용하는 방식으로 추진되어 왔기 때문이라고 지적했다.

그는 “이런 도구들은 특정 업무에는 강력하지만, 규제 환경 아래에서 전사적 규모로 AI를 운영하기에는 설계 단계부터 한계가 있다. 중앙 집중식 거버넌스가 결여돼 있고, 부서별로 나뉜 상태에서 작동하기 때문에 일관성 유지, 데이터 출처 추적, 대규모 리스크 관리가 사실상 불가능하다”라고 진단했다.

가트너는 규제 준수 문제로 어려움을 겪고 있는 IT 리더들에게 몇 가지 구체적인 대응 방안을 제시했다. 먼저 기업이 AI 모델이 스스로 수정하도록 학습시키고, 엄격한 사용 사례 검토 절차를 마련하며, 모델 테스트 및 샌드박싱을 확대해야 한다고 조언했다. 아울러 가트너는 오남용 신고 버튼이나 경고 라벨과 같은 콘텐츠 중재 기술을 함께 도입할 것을 제안했다.

가트너의 클러허티 존스는 IT 리더가 AI의 결과를 방어할 수 있어야 하며, 이를 위해서는 모델의 작동 원리를 깊이 이해해야 한다고 말했다. 또한 특정 고위험 시나리오에서는 외부 감사를 통해 AI를 검증해야 할 수도 있다.

그는 “데이터를 방어하고 모델 개발 과정을 방어해야 하며, 모델의 행동과 그 결과물까지도 방어해야 한다. 대부분의 경우 내부 시스템을 이용해 결과를 검증하지만, 만약 해당 모델이 고위험 규제 영역에 속한다면 중립적인 외부 감사를 맡기는 방법도 고려해야 한다. 모델을 방어하면서 테스트까지 직접 수행한 당사자는 방어 논리에 한계가 있을 수밖에 없다”라고 지적했다.
dl-ciokorea@foundryco.com