AIを「評価する」新しい職種が台頭——企業が気づき始めた安全網の必要性

評価は「ゲート」ではなく「継続的な実践」だ

AIパイロットを通過したはずのエージェントが、本番環境で想定外の挙動を見せる——そんな事例が増えている。そこで、企業の中には「AI評価チーム」という新たな職種を設ける動きが出てきている。

Google CloudでプロダクトマネジメントとデータAIクラウドを統括するマネージングディレクター、Yasmeen Ahmad氏はこう語る。

「自律型の複雑なエージェントはこれまで存在しなかったものだ。実際に現場で動くエージェントを見た顧客は、評価は一度やれば終わりではなく、継続的に行うものだと気がつき始めている」

Googleでは、AI評価チームをエージェント開発グループに組み込み、開発と評価を並行して進める体制を取っている。「エージェントの構築と同時に評価が走っている。そうすることで、速い反復サイクルが生まれる」とAhmad氏は言う。

ソフトウェア開発会社Innowise のCIO、Maksim Hodar氏によれば、他の企業でも大規模なAI・IT部門の中にAI評価タスクフォースを設ける動きが始まっているという。新たに採用するのではなく、データアーキテクト、セキュリティ担当、コンプライアンス責任者を組み合わせてチームを編成するケースも多いという。

「あれば良い」から「なければならない」へ

AI評価チームのメンバーは、コーディングとビジネス倫理の間に立つハイブリッドな役割を担う。Hodar氏はこう断言する。「AI評価チームは『あれば良い』から『不可欠』へと進化しつつある。企業が盲目的なAI導入から脱却し、いわゆる『安全網』に対してより慎重なアプローチを取り始めている」

オブザバビリティやガバナンス製品など、AIの質の低い出力を防ぐためのツールが登場しているが、テクノロジーだけでは不十分だとHodar氏は言う。そのITツールが会社の価値観やGDPR（EUの一般データ保護規制）などの規制に沿っているかどうかを判断するのは、人間の役割だ。

「テクノロジーは技術的なエラーを検出できても、文脈を評価することはできない。テクノロジーは情報を提供するが、最終的にゴーサインを出すのは評価チームだ。説明責任は自動化できない」

テスト環境を通過したエージェントが、現場で失敗する理由

GoogleのAhmad氏も同じ見解を示す。オブザバビリティツールが提供するデータは評価チームに不可欠だが、テクノロジーだけではAIモデルやエージェントの不良な出力を修正するために必要な文脈を提供できない。AIエージェントはテスト環境では優秀な成績を収める。しかし、現実の状況での挙動を追跡するには人間の評価チームが必要だ。

「エージェント型アプリケーションは、想定したシナリオの単体テストは通過するかもしれない。しかしエージェントシステムは非決定論的な意思決定者だ。現実の世界でどのような挙動をとりうるか、そのすべてをテストしているわけではない」とAhmad氏は言う。

トークンの使用量、ツールの使用状況、ツールの障害、推論エラーといったデータはオブザバビリティツールで把握できる。しかし、問題の多くを修正するには人間の評価者が必要だ。評価チームは、エージェントが頻繁に犯す推論エラーに文脈を与えることができる。

「評価チームがエージェントの検証に費やす時間の大半は、『なぜここで推論が失敗したのか』を突き止めることに使われる」とAhmad氏、「エージェントが十分なコンテキストにアクセスできていないからだ。解決策は、エージェントが適切な推論判断を下せるよう、適切なレイヤーに適切なコンテキストを与えることだ」と続けた。

最大の障壁は技術ではなく、人間だ

契約ライフサイクル管理ベンダーAgiloftでAIオペレーション担当バイスプレジデントを務めるNoe Ramos氏は、優れた評価チームがカバーすべき課題として、ガバナンス、組織の文化的な準備状況、業務フローとの整合、そしてAIツールのビジネスへの測定可能なインパクトを挙げる。

「最大の障壁は技術的なものではなく、人間だ。強力なツールを導入しても、人々がそれを信頼せず、理解せず、自分の仕事にどう役立つかが見えなければ、うまくいかない」

Ramos氏はこう強調する。「AIは勢いだけで展開できるものではない」。AIを本格的にスケールさせるには、体系的な評価の仕組みが不可欠だ。

「AI評価とは安全のためだけではない。AIがノイズを増やすのではなく、明確さと行動をもたらすことを確かめるためのものだ」とRamos氏は言う。

Ramos氏は最近、ITバイスプレジデントからAIオペレーション担当バイスプレジデントに昇格した。評価をAgiloftのAI運用モデルに組み込むことが、チームのミッションだ。

評価チームが機能するための条件

「AI開発の優先順位は、聞こえてくる要望の大きさではなく、組織への貢献度で決めるべきだ」とRamos氏は言う。AI施策が声の大きい部門に引きずられるリスクを、氏は常に意識している。

評価チームをどこに置くかも重要だ。ITやセキュリティ、データ部門だけでなく、現場の業務部門も巻き込んだ場所に置くべきだとRamos氏は主張する。評価リーダーには、自社の業務フローへの深い理解が求められる。

「AI評価が失敗するのは、企業が自社のワークフローを把握できていないからだ。業務フローを整理せず、ボトルネックを特定せず、優先順位を揃えないまま——そんな状態でAIを評価しても意味がない」