일문일답 | 일본 전문가가 짚은 생성형 AI 리스크와 거버넌스의 방향

생성형 AI 도입이 빠르게 확산되는 가운데, 기업들은 법규제와 보안, 계약, 국제 표준 등 다층적인 과제에 맞닥뜨리고 있다.

이번 대담에서는 사이버보안 및 기술 분야 전문가인 이이다 아사히로(트렌드마이크로·Generative AI Japan 이사, 사진 왼쪽)와 AI 및 디지털 법제 분야에 정통한 변호사 시바야마 요시노리(아베·이쿠보·카타야마 법률사무소 / 일본 딥러닝 협회 자문위원, 사진 오른쪽)가 함께 국내외 규제 동향과 실무 대응의 핵심을 정리했다.

특히 두 전문가는 ‘누가 무엇을 사용할 수 있는가’를 설계하는 보안 정책(Security Policy)부터 벤더 계약 시 주의점, 국제 표준 대응까지, AI 활용을 전제로 한 거버넌스의 방향을 논의했다.

Q: 먼저 생성형 AI 관련 법규제의 현황에 대해 설명해 달라. 일본 내에서는 어떤 규제가 시행되고 있나.
A: 시바야마 요시노리: AI 관련 규제는 크게 두 가지로 구분된다. 하나는 AI 자체를 직접 규제 대상으로 삼는 포괄적 규제이고, 다른 하나는 기존 개별 법률을 적용하는 방식이다. 전자의 대표적인 예가 유럽연합(EU)의 ‘AI법(AI Act)’이다. 이는 법적 구속력을 가진 이른바 ‘하드 로(hard law)’로, 엄격한 의무를 부과하는 규제다. 반면 미국은 연방 차원에서 명확한 법규는 없고, 오히려 AI 기술 발전을 장려하는 방향으로 움직이고 있다. 일본은 그 중간, 혹은 독자적인 노선을 취하고 있다. 올해 제정된 ‘인공지능 관련 기술의 연구개발 및 활용 촉진에 관한 법률’이 그 예다. 이 법은 사업자에게 협력 의무를 부과하지만, 협력하지 않아도 처벌은 없다. 즉, 형식적으로는 법이 존재하지만 실제로는 ‘소프트 로(soft law)’에 가까운 완화된 규제다.

Q: 기존 법률을 통한 규제에는 어떤 것들이 있는가?
A: 시바야마 : 생성형 AI 사용 결과로 명예훼손이나 저작권 침해가 발생하면 기존 법률이 그대로 적용된다. 특히 중요한 것은 ‘개인정보보호법’과 ‘저작권법’이다. 이 두 법은 생성형 AI의 입력과 출력, 양쪽 측면 모두에서 리스크 관리의 핵심이 된다.

Q: 기업이 생성형 AI를 도입할 때, 법적 리스크 측면에서 특히 주의해야 할 점은 무엇인가?
A: 시바야마 : 우선 입력 단계에서는 개인 정보나 기밀 정보를 AI에 제공해도 되는지가 쟁점이 된다. 비밀유지 의무 대상 정보를 입력할 경우 계약 위반으로 이어질 수 있으며, 개인 데이터를 입력하면 법령 위반이 될 가능성도 있다. 출력 단계에서는 허위 정보 생성이나 저작권 침해가 우려된다. 예를 들어 생성된 이미지나 코드가 기존 저작물과 유사할 경우 저작권 침해로 간주돼 손해배상 책임이 발생할 위험이 있다.

Q: 이러한 리스크에 대한 구체적인 대응 방안은 무엇인가.
A: 시바야마 : 우선 신뢰할 수 있는 서비스를 선택하는 것이 중요하다. 개인정보보호법 관점에서 보면 개인 데이터를 입력할 경우 이를 ‘제공’한 것으로 간주될 수 있는데, 원칙적으로는 당사자의 동의가 필요하다. 다만 안전관리 조치가 충분히 마련돼 있는 등 일정 요건을 충족하면 동의 없이도 이용이 가능하다. 따라서 이용 약관이나 데이터 처리 부속계약(Data Processing Addendum, DPA) 등 데이터 취급 관련 합의서를 반드시 확인해야 한다.

출력 측면에서는 저작권적으로 안전한 데이터로 학습된 모델을 선택하고, 프롬프트(지시문) 설계에 신중을 기하며, 특정 저작물을 모방하지 않도록 주의하는 등의 노력이 필요하다.

Q: 데이터베이스의 위치에 따라서도 리스크가 달라지나.
A: 시바야마 : 그렇다. 국경에 따라 데이터 보호 법제의 내용이 다르기 때문이다. 예를 들어 중국으로 데이터가 이전되면, 현지 법률에 따라 정부에 정보 제공 의무가 발생할 가능성이 있다. 실제로 ‘딥시크(DeepSeek)’ 사례에서는 개인정보보호위원회가 주의를 촉구한 바 있다. 민주주의 국가와는 다른 법체계를 가진 국가에서는 특히 데이터의 국경 간 이전에 신중할 필요가 있다.
(참고: 개인정보보호위원회 사무국 ‘딥시크에 관한 정보 제공’, 2025년 2월 3일 발표, 3월 5일 갱신, https://www.ppc.go.jp/news/careful_information/250203_alert_deepseek/)

Q: 자체적으로 데이터베이스를 구축하면 이런 리스크를 피할 수 있는가?
A: 시바야마 : 가능하다. 코드 등이 공개된 모델이라면 자사 환경 내에 도입해 운용함으로써 외부로의 데이터 유출 위험을 최소화할 수 있다. 다만 클라우드형 서비스가 보안 등 여러 면에서 더 우수한 경우도 많기 때문에, 데이터 관리 체계를 충분히 검토한 뒤 클라우드 서비스를 활용하는 편이 더 바람직한 경우도 있다.

Q: 해외의 규제 동향은 일본 기업에 어떤 영향을 미치고 있나.
A: 시바야마 : 유럽연합(EU)의 ‘AI법(AI Act)’은 EU 내에서 사업을 하는 기업에는 직접 적용된다. 동시에 글로벌 표준 형성에도 영향을 미치기 때문에, EU에서 사업을 하지 않는 기업에도 간접적인 영향을 준다. 미국은 소프트 로(soft law)적 접근을 취하고 있지만, 한국은 EU를 따르는 형태로 ‘AI 기본법’을 제정했다. 중국은 독자적인 하드 로(hard law)를 적용하고 있는데, EU의 접근 방식과는 성격이 다르다. 세계적으로는 아직 규제의 방향성이 명확히 정해지지 않은 과도기적 상황이다.

Q: AI 거버넌스와 관련해 국제 기준과의 정합성은 어떻게 확보해야 하나.
A: 시바야마 : 예를 들어 EU의 일반개인정보보호규정(GDPR)처럼, EU가 제시하는 규제는 ‘브뤼셀 효과(Brussels Effect)’라고 불릴 만큼 다른 나라에도 큰 영향을 미친다. ‘AI법’ 역시 그 연장선상에 있으며, 일본 기업도 이를 무시하기 어렵다. 또한 최근에는 투자자들이 기업의 AI 거버넌스 체계 정비를 요구하는 움직임도 나타나고 있어, 향후 기업이 AI 거버넌스 체계를 구축해야 하는 압력은 더욱 커질 것으로 보인다.

이이다 아사히로: 글로벌 시장에서 활동하는 기업이라면 각 지역의 법적·윤리적 요구사항을 외면할 수 없다. 결과적으로는 가장 엄격한 기준에 맞출 수밖에 없다. 완화된 기준을 기준으로 운영하면, 다른 지역에서는 받아들여지지 않는 현실이 있다.

시바야마 요시노리: 일본의 규제가 곧바로 글로벌 스탠더드가 될 가능성은 크지 않다. 그러나 저작권법 등 일부 영역에서는 일본이 세계에 앞서 규제 완화를 시행한 사례도 있다. 규제 형성의 속도 측면에서 보면, 일본도 일정한 존재감을 보이고 있다고 할 수 있다.

Q: 생성형 AI의 보안 리스크에 대해 어떻게 보고 있는가?
A: 이이다 아사히로: 대표적인 리스크는 세 가지다. 첫째는 정보 유출, 둘째는 허위 정보 생성(일명 ‘환각’), 셋째는 저작권 침해다. 이 세 가지는 모두 학습 데이터의 품질과 관리 체계에 기인한다. 예를 들어 학습 데이터에 개인 정보나 기밀 정보가 포함돼 있으면, 그 내용이 출력 결과에 반영될 가능성이 있다. 따라서 기업이 고유의 정보를 활용하려면 폐쇄된 환경에서 모델을 구축하는 것이 바람직하다.

Q: 퍼블릭 서비스(공용 모델)를 사용할 때 주의해야 할 점은 무엇인가.
A: 이이다 : 누구나 접근할 수 있는 공용 서비스에 기업의 기밀 정보를 입력하면 의도치 않게 정보가 유출될 위험이 있다. 따라서 퍼블릭 모델을 사용할 때는 입력 데이터의 선정에 특히 신중을 기해야 한다.

Q: AI가 새로운 형태의 사이버 공격 대상이 될 가능성도 있나.
A: 이이다 : 그런 가능성은 분명히 있다. AI가 새로운 공격 표적이 될 수 있다는 점에서 리스크는 커지고 있다. 예를 들어, 기업이 독자적으로 구축한 대규모언어모델(LLM)에 대해 외부에서 불법 접근을 시도하는 공격이 발생할 수도 있다. 하지만 이는 AI만의 문제가 아니라, 기존 서버나 클라우드 환경과 마찬가지로 적절한 보안 조치를 취하면 일정 수준의 방어는 가능하다. 현실적으로 사이버 공격 피해를 입는 기업이 적지 않기 때문에, AI 도입 여부와 관계없이 디지털 전환(DX)의 진전에 맞춰 정보보안 전반을 강화할 필요가 있다. AI만 특별히 강화하는 접근보다는, AI를 포함한 전체 정보 자산을 어떻게 보호할 것인가가 더 중요하다.

Q: 결국 AI 도입으로 공격 표면이 넓어지는 것 같다.
A: 이이다 : 맞다. 범죄자의 시각에서 보면 AI는 새로운 ‘침입 경로’가 될 수 있다. 과거에는 다른 방법으로만 입수할 수 있던 정보가, 이제는 AI의 학습 데이터나 출력 결과를 통해 얻을 수 있게 된다면 이는 명백히 공격 대상의 확대다. 다만 이 논의는 과거 클라우드 확산 초기와 유사한 측면이 있다. 클라우드가 등장했을 때도 “외부에 데이터를 맡기는 것은 위험하다”는 우려가 많았지만, 지금은 대부분의 기업이 클라우드를 활용하고 있다. AI도 마찬가지다. 리스크는 존재하지만, 적절한 보안 대책을 세운다면 충분히 안전하게 활용할 수 있는 기술이다.

Q: 생성형 AI를 도입하고 운영할 때, 기업 내부의 책임 체계는 어떻게 정리해야 할까.
A: 이이다 : AI는 법무, 인사, 기술 등 여러 부문에 걸친 이슈이기 때문에 하나의 부서만으로 완결하기는 어렵다. 책임자를 명확히 지정하고, 관련 부서 간 협업이 이뤄질 수 있도록 중심이 되는 전담 부서를 두는 것이 현실적이다.

Q: 일본 기업에서는 부서 간 단절, 이른바 ‘사일로(Silo)화’가 자주 문제로 지적된다. 이에 대한 대응책은 무엇일까.
A: 이이다 : 전사 차원의 책임자인 ‘최고 AI 책임자(Chief AI Officer, CAIO)’ 같은 역할을 설정하고, 그에게 권한을 부여하면 부서 간 연계를 촉진할 수 있다. 디지털청이 발표한 ‘행정의 진화와 혁신을 위한 생성형 AI 조달·활용 가이드라인’도 좋은 참고 사례다. 이 가이드라인에 따르면, 각 부처에 CAIO를 배치해 리스크 평가 시트를 기반으로 AI 도입 여부를 판단하고, 디지털청의 상담 창구와 연계해 의사결정이 이뤄지도록 하고 있다. 또한 전문가 자문 체계도 함께 마련돼 있다. 이러한 구조를 기업 환경에 맞게 응용하면 실효성 있는 거버넌스를 구축할 수 있다.

Q: AI 모델 학습 과정에서 기밀 정보를 어떻게 다루는 것이 바람직한가.
A: 이이다 : 업무 효율화를 목적으로 한다면, 기업이 보유한 고객 정보를 AI에 활용하는 상황은 피하기 어렵다. 다만 그 정보가 학습용 데이터로 사용될 수 있는지는 수집 당시의 이용 목적과 비교해 반드시 확인해야 한다. 이용자에게 제시한 목적과 다른 방식으로 정보를 활용하면 법적·윤리적 문제가 발생한다. 예를 들어 이름, 이메일 주소, 생년월일 등 개인 정보를 학습에 사용하려면 해당 정보가 ‘학습 목적’으로 수집된 것인지 확인해야 한다. 또한 인사 관련 정보—급여나 평가 기록 등—를 활용할 경우에는 부서 간 정보 공유에 제한이 있으므로, 접근 제어(Access Control)가 필수적이다.

Q: 정보의 중요도에 따라 라벨링을 구분하는 조치도 필요해 보인다.
A: 이이다 : 맞다. 정보의 기밀성 수준에 따라 어떤 부서나 직급이 접근할 수 있는지를 정의하고, 각 모델마다 접근 제한을 설정해야 한다. 모든 데이터를 하나의 모델에 학습시키기보다, 용도나 사용 대상을 기준으로 모델을 분리하는 설계가 바람직하다.

Q: 기업 내에서 생성형 AI를 도입할 때, 보안 정책이나 제어 설계는 어떻게 마련해야 할까.
A: 이이다 : 우선 ‘누가, 어떤 정보에, 어느 범위까지 접근할 수 있는가’를 명확히 하는 것이 핵심이다. 도입 전에 각 부서가 어떤 목적과 필요로 AI를 사용하는지, 어떤 리스크가 존재하는지를 분석하고, 그 결과를 반영해 정책을 설계해야 한다.

Q: 내부용 모델과 퍼블릭 모델을 구분해 사용하는 것도 중요해 보인다.
A: 이이다 : 그렇다. 사내 기밀 정보를 활용해야 하는 경우라면 독자적인 AI 모델을 구축하는 것이 바람직하다. 반대로 일반적인 정보 수집 목적이라면 퍼블릭 서비스를 사용하는 편이 효율적이다. 결국 목적에 맞는 모델을 선택하고, 그에 따른 명확한 정책을 수립하는 것이 핵심이다.

Q: 생성형 AI를 자사에 도입할 때, 벤더와의 계약에서 어떤 점을 유의해야 할까.
A: 시바야마 : 생성형 AI를 도입하는 방식에는 크게 두 가지가 있다. 하나는 SaaS와 같은 패키지형 서비스를 사용하는 경우이고, 다른 하나는 벤더에게 개발을 의뢰해 자사 맞춤형으로 커스터마이징하는 경우다. 전자의 경우 이용약관이 고정돼 있기 때문에, 약관 내용을 꼼꼼히 읽고 어떤 범위의 정보를 입력할 수 있는지를 판단해야 한다. 반면 후자의 경우에는 협상 여지가 있기 때문에, 권리의 귀속, 이용 조건, 데이터 처리 방식 등을 명확히 계약에 반영하는 것이 중요하다.

Q: 자사의 노하우가 유출될 가능성도 있지 않나.
A: 시바야마 : 그렇다. 제공한 데이터가 다른 제품 개발 등에 재활용될 가능성도 있기 때문에, 계약서에 데이터 이용 범위를 명확히 규정해야 한다. 예를 들어 개발을 위탁하는 경우, 자사가 제공한 데이터를 활용해 만든 AI 모델이 다른 기업의 서비스에까지 사용되는 상황을 막기 위해, 산출물의 이용 조건과 권리 귀속을 계약서에 구체적으로 명시할 필요가 있다.

Q: 실제로 데이터를 제공한 기업이 자사 정보를 다시 활용하지 못하는 사례도 있다고 들었다.
A: 시바야마 : 맞다. 계약 시 이용 조건을 명확히 하지 않으면, 이른바 ‘벤더 락인’ 상태가 발생할 수 있다. AI 개발에서는 데이터의 처리 방식과 결과물의 이용 조건을 반드시 함께 고려해야 한다.

Q: 기업 내부에서 AI를 활용할 때도, 사내 규정을 마련해야 하지 않나.
A: 시바야마 : 그렇다. 지금까지 언급한 법적 리스크에 대응하기 위해서는 최소한의 내부 규정을 마련하는 것이 필요하다.

이이다 아사히로: 여기에 더해 규정을 만드는 것만으로는 충분하지 않다. 그것을 어떻게 사내에 정착시키고 실질적으로 운영하느냐가 더 큰 과제다. 아무리 정책을 세워도, 직원들이 그 내용을 이해하고 실천하지 않으면 의미가 없다. 교육과 기술적 보완책을 병행해 보안 거버넌스를 체계적으로 구축해야 한다.

시바야마 : 법적 관점에서도 교육은 매우 중요하다. 예를 들어 “개인정보를 입력하지 말라”고만 안내하면, 직원이 무엇이 개인정보에 해당하는지 정확히 이해하지 못해 실수로 입력할 수도 있다. 따라서 자사 업무에 맞는 구체적인 사례를 제시하고, 영상 등으로 교육 콘텐츠를 제공하는 방식이 효과적이다.

Q: 기술의 발전 속도를 법제도가 따라가지 못할 때, 기업은 어떤 대응을 해야 하나.
A: 시바야마 요시노리: 핵심은 리스크 기반 접근(Risk-Based Approach)이다. 즉, 리스크의 중요도에 따라 대응책을 세우는 사고방식이다. 법이 아직 해당 상황을 상정하지 않았거나 전례가 없는 경우, 기업이 스스로 리스크를 평가하고 판단할 수 있는지가 관건이다. 일본 기업들은 통상 ‘전례’를 찾으려는 경향이 강하지만, 앞으로는 “전례가 없으니 하지 않는다”가 아니라 “자사 기준으로 판단한다”는 자세가 요구된다.

이이다 : 업계 단위로 “이 정도는 허용된다”는 수준의 표준을 마련하고, 그 위에서 각 기업이 개별적으로 판단하는 구조가 이상적이다. 그렇게 하면 현장 담당자에게 리스크를 전가하지 않고, 조직 차원에서 책임 있는 의사결정을 내릴 수 있다.

시바야마 : 최고정보책임자(CIO)나 최고AI책임자(CAIO)와 같은 명확한 책임자를 두고, 명문화된 규칙을 마련하면 현장이 안심하고 AI를 활용할 수 있는 환경을 조성할 수 있다.

이이다 아사히로: 일본은 노동인구 감소라는 구조적 문제를 안고 있다. AI는 이를 보완할 수 있는 필수 기술이다. 향후 AI를 도입하는 기업은 더욱 늘어날 것이며, 한 번 사용하면 손에서 놓기 어려울 만큼 효율적이다.

시바야마 : 거버넌스는 억제하기 위한 장치가 아니라, AI를 안전하고 긍정적으로 활용하기 위한 체계다. 지나치게 주저하지 말고, 적극적으로 활용해 주기를 바란다.

이이다 : 보안과 거버넌스는 ‘사용을 막기 위한’ 것이 아니라 ‘안심하고 사용할 수 있도록 설계하는’ 개념이다. 그 전제가 공유된다면, AI 활용은 훨씬 건전하고 지속 가능한 방향으로 발전할 것이다.

*이 기사는 CIO 재팬에 게재된 원문을 바탕으로 재구성한 것입니다. 원문은 여기서 확인할 수 있습니다.
dl-ciokorea@foundryco.com