対談：「生成AIのセキュリティガバナンス」──法規制、リスク、そして国際動向

生成AI規制の現在地──国内外の法制度と企業対応

――　まずは、生成AIに関する法規制の現状について伺います。日本国内ではどのような規制があるのでしょうか。

柴山　AIに関する規制は大きく分けて2つあります。1つはAIを直接対象とした包括的な規制、もう1つは既存の個別法による規制です。前者の代表例としてはEUの「AI Act（エーアイ・アクト）」があります。これはハードロー、つまり法的義務を課す厳格な規制です。一方、アメリカは連邦レベルではAIに対する明確な法規制はなく、むしろ推進の方向です。日本はその中間というか、独自路線を取っています。今年、「人工知能関連技術の研究開発及び活用の推進に関する法律」が制定されました。これは事業者への協力義務を課していますが、協力しなかったとしても罰則はありません。つまり、法律はあるが、ソフトローに近い緩やかな義務を課す形です。

――　個別法による規制についても教えてください。

柴山　生成AIを使った結果、名誉毀損や著作権侵害等が起きれば、当然ながら既存の法律が適用されます。特に重要なのは「個人情報保護法」と「著作権法」です。これらは生成AIの入力・出力両面でリスク管理の要となります。

――　企業が生成AIを導入する際、法的リスクとして特に留意すべき点は何でしょうか。

柴山　まず「入力」の段階では、個人情報や機密情報をAIに渡してよいかが問題になります。秘密保持義務の対象となる情報を入力してしまうと契約違反につながる可能性がありますし、個人データを入力すると、法令違反になるケースがあります。「出力」に関しては、誤情報の生成や著作権侵害が懸念されます。例えば、生成された画像やコードが既存の著作物に酷似していた場合、著作権侵害として損害賠償の対象となるリスクがあります。

――　具体的な対応策はありますか。

柴山　まず、信頼できるサービスを選ぶことが重要です。個人情報保護法の観点では、個人データを入力する場合、個人データを提供したとされる場合があり、その場合は原則として本人同意が必要ですが、安全管理措置が講じられている等一定の要件を満たせば、同意不要な場合もあります。利用規約やData Processing Addendum（DPA）と呼ばれるデータ取り扱いの合意書等を確認することが大切です。出力に関しては、著作権的に安全なデータで学習されたモデルを選ぶ、プロンプト（指示文）設計に注意する、特定の著作物を模倣しないなどの工夫が求められます。

――　データベースの所在によってもリスクは変わりますか。

柴山　はい。国によってデータ保護法制の内容は異なります。例えば、中国にデータが渡ると、現地法により政府に情報提供が義務付けられる可能性があります。DeepSeekの事例では、個人情報保護委員会が注意喚起を行いました（※）。民主主義国とは異なる法体系を持つ国では、特にデータの越境移転に慎重になる必要があります。

（※参考：個人情報保護委員会事務局「DeepSeekに関する情報提供」（令和７年２月３日（令和７年３月５日更新）https://www.ppc.go.jp/news/careful_information/250203_alert_deepseek/）

――　自社でデータベースを構築することでリスクを回避できますか。

柴山　可能です。コード等が公開されているモデルであれば、自社環境に持ち込んで運用することで、外部へのデータ流出リスクを抑えられます。ただし、クラウド型サービスの方がセキュリティ等の面で優れている場合もあり、データ管理体制を十分に確認したうえで、クラウド型サービスを利用する方が良い場合も多いでしょう。

――　海外の規制動向は、日本にどのような影響を与えるでしょうか。

柴山　EUのAI Act は、EU圏でビジネスをする企業には直接適用されます。さらに、グローバルな標準形成にも影響を与えるため、EUで事業を展開していない企業にも間接的な影響があります。アメリカはソフトロー的なアプローチですが、韓国はEUに追随する形でAI基本法を制定しました。中国は独自のハードローを採用していますが、EUとは毛色が異なります。世界的な潮流はまだ定まっていない状況です。

――　AIガバナンスに関して、国際的な基準との整合性はどう図るべきでしょうか。

柴山　たとえばGDPR（General Data Protection Regulation、EU一般データ保護規則）のように、EUが打ち出す規制は「ブリュッセル効果」と呼ばれ、他国にも影響を与えます。AI Act もその延長線上にあり、日本企業も無視できません。また、投資家がAIガバナンス体制の整備を求めるという動きもありますので、今後、企業にAIガバナンス体制構築を求める動きは加速していくでしょう。

飯田　グローバルに展開する企業は、地域ごとの法的・倫理的要請を無視できません。結果的に、厳しい基準に合わせざるを得ない。緩い基準に合わせると、他地域では受け入れられないという現実があります。

柴山　日本のルールがそのままグローバルスタンダードになることはないでしょう。ただ、著作権法などでは世界に先駆けた規制緩和を行ってきた実績もあります。ルール形成のスピード感では、日本も一定の存在感を示しています。

生成AIとサイバーセキュリティ──漏洩・誤情報・著作権リスクとサイバー攻撃への備え

――　生成AIにおけるセキュリティリスクについて、飯田さんはいかがでしょうか。

飯田　典型的なリスクは3つあります。1つ目は情報漏洩、2つ目はハルシネーション（誤情報の生成）、3つ目は著作権侵害です。これらはすべて、学習データの質と管理に起因します。

例えば、学習データに個人情報や機密情報が含まれていると、それがアウトプットに現れる可能性があります。企業独自の情報を活用する場合は、閉じた環境でモデルを構築することが望ましいです。

――　パブリックなサービスを使う場合の注意点は？

飯田　誰でも使えるサービスに企業の機密情報を入力すると、意図せず漏洩するリスクがあります。そのため、パブリックなモデルを使う場合は、入力データの選定に細心の注意を払う必要があります。

――　AIはサイバー攻撃の新たな標的になる可能性はありますか。

飯田　AIが新たな攻撃対象になるという意味では、確かにリスクは増えています。たとえば、企業が独自に構築したLLM（大規模言語モデル）に対して、外部から不正アクセスを試みる攻撃が発生する可能性もあります。ただし、これはAIに限った話ではなく、従来のサーバーやクラウド環境と同様に、適切なセキュリティ対策を講じていれば、一定の防御は可能です。現実には、サイバー攻撃の被害に遭っている企業は少なくありません。だからこそ、AIを導入するかどうかにかかわらず、DXの進展に伴って情報セキュリティ全体を強化する必要があります。AIだから特別に強化するというよりも、AIを含めた全体の情報資産を守るという視点が重要です。

――　つまり、AIの導入によって攻撃対象が増えるという見方もできますね。

飯田　そうですね。犯罪者の視点から見れば、AIは新たな「盗みどころ」になる可能性があります。今まで別の経路から盗まなければならなかった情報が、AIの学習データや出力を通じて取得できるようになるとすれば、それは攻撃対象の拡大です。ただ、この議論はクラウドが普及した時期の議論と非常に似ています。クラウド導入時も「外部にデータを預けるのは危険だ」という声がありましたが、今では多くの企業がクラウドを活用しています。AIも同様で、リスクはあるが、適切な対策を講じれば十分に活用できる技術です。

社内ガバナンスの設計──責任体制・アクセス制御・教育

――　生成AIの導入・運用において、企業内での責任分担はどう整理すべきでしょうか。

飯田　AIは法務・人事・技術など多岐にわたる領域に関わるため、1部門で完結するのは難しいです。責任者を明確に任命し、窓口となる部門を設けて、他部門と連携する体制が現実的です。

――　日本企業では「サイロ化」が課題になりがちですが、どう対応すべきでしょうか。

飯田　「Chief AI Officer（CAIO）」のような横断的な責任者を設け、その人に権限を与えることで、部門間の連携を促進できます。デジタル庁の「行政の進化と革新のための生成AIの調達・利活用に係るガイドライン」も参考になります。各府庁にCAIOを置き、リスク評価シートを用いてAIの導入判断を行い、所管のデジタル庁の相談窓口に相談がいくようになっています。また、有識者による助言体制も整えています。これを企業に応用することで、実効性のあるガバナンスが可能になります。

――　AIモデルの学習において、機密情報をどのように扱うべきですか。

飯田　業務効率化を目的とするなら、企業が収集した顧客情報をAIに活用する場面は避けられません。ただし、その情報が「学習用データ」として使えるかどうかは、収集時の利用目的と照らし合わせて確認する必要があります。ユーザーに提示した目的と異なる使い方をすれば、法的・倫理的な問題が生じます。例えば、名前やメールアドレス、生年月日などの個人情報を学習に使いたい場合、その情報が「学習目的」で収集されたものであるかを確認する必要があります。また、人事情報──給与や評価など──を使う場合も、部門間での情報共有に制限があるため、アクセスコントロールが不可欠です。

――　情報の重要度に応じたラベリングも必要ですね。

飯田　情報の機密性に応じて、どの部門・職責に開示すべきかを定義し、モデルごとにアクセス制限を設ける。すべての情報を1つのモデルに学習させるのではなく、用途や対象者に応じてモデルを分ける工夫が求められます。

――　社内で生成AIを導入する際、セキュリティポリシーや制御設計はどうあるべきでしょうか。

飯田　まずは「誰が、どの情報に、どこまでアクセスできるか」を明確にすることが重要です。導入前に、どの部署がどのような目的でAIを使うのか、どんなリスクがあるのかを整理し、それに応じたポリシーで設計する必要があります。

――　社内モデルとパブリックモデルの使い分けも重要ですね。

飯田　そうです。社内の機密情報を活用するなら、独自のAIモデルを構築すべきです。一方、一般的な情報収集にはパブリックなサービスを使う。用途に応じたモデル選定とポリシーの明確化が求められます。

ベンダーとの契約──契約と交渉のポイント

――　生成AIを自社に導入する場合、ベンダーとの契約上どんな点に注意すべきでしょうか。

柴山　生成AIを自社に導入する場合、SaaSのようなパッケージ型のサービスを導入する場合とベンダーに開発を委託して自社向けにカスタマイズする場合の2種類があります。前者は利用規約が固定されているため、規約を読み込んで、どこまでの情報を入力できるかを判断する必要があります。後者は交渉の余地があるため、権利の帰属、利用条件、データの取り扱いなどを明確にすることが重要です。

――　自社のノウハウが漏れるリスクもありますね。

柴山　はい。渡したデータが別製品の開発等に転用される可能性もあるため、契約で利用範囲を明確に定めておくことが重要です。たとえば、開発委託の場合、提供したデータを使って作られたAIモデルが、他社サービスへの展開にあたっても利用されるような事態を避けるために、成果物の利用条件や権利帰属を契約書でしっかり規定しておく必要があります。

――　実際に、データ提供した企業が自社の情報にアクセスできなくなるケースもあると聞きます。

柴山　契約時に利用条件を明確にしていなければ、いわゆるベンダーロックインと呼ばれる状況が起こることもあり得ます。AI開発においては、データの取り扱いと成果物の利用条件をセットで考えることが不可欠です。

――　社内でAIを利用する場合には、社内のルールを決めておくことも重要でしょうか。

柴山　はい。ここまでに述べたような法的リスクに対応するには、最低限のルールを定めておくことが必要です。

飯田　加えて、ルールを策定しただけでは不十分で、それをどう社内に浸透させるかが課題になります。ポリシーを作っても、従業員がその内容を理解し、実践できなければ意味がありません。教育と技術的な補完策の両面から、セキュリティガバナンスを構築する必要があります。

柴山　法的な観点からも、教育は非常に重要です。たとえば「個人情報を入力しないでください」と言われても、何が個人情報かを理解していないと、誤って入力してしまうことがあります。自社の業務に即した具体例を示しながら、動画などで教育コンテンツを提供するのが有効です。

技術の進化と制度の遅れ──「前例なき意思決定」が問われる時代へ

――　技術の進化に法制度が追いつかない場合、企業にはどのような対応が求められるのでしょうか。

柴山　リスクベースアプローチ（リスクの重要度に応じて対策を講じる考え方）が鍵です。法律が想定しておらず、前例もない状況で、自社でリスク評価をして意思決定できるかどうか。日本企業は前例を探しがちですが、今後は「前例がないからやらない」ではなく、「自社で判断する」力が問われます。

飯田　業界団体で「ここまではできる」という標準を作り、その上で企業が個別判断するという構造が理想です。そうすれば、現場の担当者にリスクを押し付けることなく、組織として意思決定ができます。

柴山　CIOやCAIOのような責任者を明確にし、ルールを定めることで、現場が安心して使える環境を整えることができます。

飯田　日本は労働人口の減少という構造的課題を抱えています。AIはその補完手段として不可欠な技術です。導入企業は今後さらに増えるでしょうし、一度使えば手放せなくなるほど便利です。

柴山　ガバナンスは抑止のためではなく、安全に、そしてポジティブに活用するための仕組みです。しり込みせず、前向きに使っていただきたいです。

飯田　セキュリティやガバナンスは「使わせないため」ではなく、「安心して使ってもらうため」に設計するものです。その前提が共有されれば、AI活用はより健全に広がっていくはずです。