5 metrics to drive successful AI outcomes

Despite massive investments in AI last year, most businesses have struggled to achieve measurable results. In PwC’s January 2026 Global CEO Survey, 56% of CEOs reported neither increased revenue nor decreased costs from AI in the last 12 months — a statistic backed by Gartner figures that show only 5% of CFOs have reported cost…

“AI가 바꾸는 일자리 지도”…연간 3,200만 개 직무 재편 전망

최근 수개월간 블록(Block) 등 같은 유명 기업이 수천 명 규모의 인력을 감축했다. 이들 기업은 AI가 기존 직원이 수행하던 업무를 상당 부분 대체했다고 설명하고 있다. AI가 장기적으로 일자리와 노동시장에 어떤 영향을 미칠지는 여전히 불확실하다. 그러나 IT 시장조사업체 가트너는 향후 몇 년간 AI로 인한 고용 혼란이 더욱 커질 것으로 내다봤다. 단기적으로는 매년 3,200만 개 일자리가 AI에 의해…

“비용센터 꼬리표 떼려면” IT의 가치를 알리는 5가지 커뮤니케이션 전략

오늘날 기술 없이 돌아가는 조직은 사실상 없다. 그럼에도 IT의 가치가 늘 분명하게 평가되는 것은 아니다. 많은 기업에서 IT는 여전히 비용센터로 인식된다. IT가 비즈니스에 어떤 가치를 만드는지 CIO가 충분히 설득력 있게 설명하지 못하기 때문이다. 가트너의 글로벌 엔터프라이즈 부문 최고 리서치 책임자 크리스 하워드는 최근 게시글에서 “오늘날 CIO는 한 가지 핵심 질문에 답해야 하는 압박을 받고 있다”라며…

Amazon is linking site hiccups to AI efforts

Amazon reportedly convened an engineering meeting Tuesday to discuss “a spate of outages” that are tied to the use of AI tools, according to a report in the Financial Times.  “The online retail giant said there had been a ‘trend of incidents’ in recent months, characterized by a ‘high blast radius’ and ‘gen-AI assisted changes’”…

失敗しているのはAIではない、人間が失敗しているのだ

2018年、GoogleはBERTと呼ばれるAIモデルを公開し、機械が言語の文脈を理解する方法を根底から変えた。それまで、言語の文脈的な意味を理解するには、用途ごとに異なるモデルとデータセットが必要だった。BERTはその壁を破り、一つのモデルで複数言語にわたる文脈理解を可能にした。 

だが、BERTを本当に価値あるものにしたのは、技術そのものではなかった。鍵は、次の3つへの深い理解だった。 

  1. モデルの動作原理——強み、弱み、依存関係を含む 
  1. 解決すべき業界固有の課題と業務上の障壁 
  1. スケールさせるためのモデルのチューニングと周辺システムの設計 

私のチームがBERTをオンライン広告に適用し、検索連動型広告の仕組みを刷新できたのも、まさにその理解があったからだ。この構図は今日、大規模言語モデル(LLM)にそのまま当てはまる。 

LLMを正しく評価できているか 

生成AIの有効性をめぐる議論が続く中、多くの調査が同じ結論を示している。企業はLLMをどう使えばいいか、まだよくわかっていない。 

理解しておくべき重要な点がある。LLMは確かに流暢で創造的な文章やコードを生成できる。しかしそれは、膨大な学習データから確率的なパターンを学んだ結果にすぎない。この性質は、事実の正確さや一貫した論理が求められる場面では弱点になる。 

「ハルシネーション(幻覚)」はバグではない。これはモデルの設計上の特性だ。深層学習の研究者たちは長年、ルールを設けることがモデルの能力を損なうと主張してきた。その結果、LLMは不確かな場合でも何らかの出力を生成しようとする——それがハルシネーションの本質だ。だからこそ、医療・金融・法律のような重大な判断が求められる領域では、適切なガードレールなしにLLMを展開すべきではない。 

McKinseyが報告しているように、多くのAIプロジェクトがパイロット段階を超えられないのも、モデルの理解が浅いまま間違った問題に当てはめようとするからだ。これはLLM活用の半分の問題にすぎない。成果を出すには、もう半分——自社のドメインでデータを収集・スケールする戦略——も欠かせない。 
 
・モデルの基本的な仕組みを理解すること 

・自社のドメインでデータを収集・スケールする戦略を構築すること 

AIのスケール問題は、ドメインのデータ問題だ 

医療・金融・法律はいずれも膨大なデータを持ち、AIへの投資余力もある。しかし、それぞれに固有の壁がある。 

医療機関は年間平均50ペタバイトものデータを生成する。だが、その97%は使われていない。臨床メモ、放射線レポート、HIPAA準拠のために個人情報が除去された文書、サイロ化された記録……。データがあることと、それを使えることはまったく別の話だ。AIが腫瘍を高精度で検出できるのは、質の高いデータにアクセスできた場合の話にすぎない。 

金融分野では逆の問題がある。取引データは構造化されており、不正検出や顧客対応の自動化に活用されている。しかし、複数ステップの数値計算を必要とする場面では、LLMのエラー率が高く、計算集約型の業務との相性は悪い。 

法律分野では、訴訟書類にAIが生成した架空の判例が紛れ込む事例が相次ぎ、不信感が広まっている。米国法曹協会(ABA)の2024年調査では、弁護士の75%が「精度への懸念」をAI活用の最大の障壁として挙げた。 

しかし法廷の外を見ると、話は変わる。契約書管理、コンプライアンス・リスク評価、知的財産保護——これらはLLMの強みである非構造化データの処理、パターン認識、情報抽出と親和性が高い領域だ。 

リスクに基づいて展開を判断する 

同じ「法律分野」でも、法廷での訴訟書類と契約書管理ではAIのリスクプロファイルはまったく異なる。どこに適用するかで成否は大きく変わる。鍵を握るのは、LLMの強みが活きる領域とそうでない領域を見極めるフレームワークだ。 

このフレームワークを考えるうえで参考になるのが、米国自動車技術者協会(SAE)が定める自動運転の安全基準「SAE J3016」だ。このフレームワークは、人間が責任を持つシステム(レベル1〜2)と、機械が主体的に判断するシステム(レベル3〜5)を明確に区別している。 

これをエンタープライズAIに適用すれば、何をどの順番で開発すべきかが見えてくる。 

たとえば契約書から情報を取り出すエージェントや、文書を自然言語で検索するエージェントは「レベル1〜2」に相当する——採用しやすく、リスクも低い。一方、AIが契約を自律的に検証・更新するシステムは、얼핏すると問題なさそうに見えるが、実は「監視なしでの契約更新」という重大なリスクを孕む。訴訟中の相手企業との契約を、AIが気づかず更新してしまう可能性すら否定できない。 

判断の基準はシンプルだ。「うまくいく可能性はどのくらいか。失敗したとき何が起きるか」。競合他社への対抗意識ではなく、この問いこそが展開の順序を決める基準になるべきだ。 

リーダーが自問すべき3つのこと 

20年以上AIと向き合ってきた経験から言えることがある。テクノロジーが組織にどれだけ貢献できるかを決める最大の要因は、組織そのものがそのテクノロジーをどれだけ理解しているかだ。生成AIの導入を検討するリーダーは、まず次の3つを自問してほしい。 

1. 技術の仕組みを本当に理解しているか 

マーケティングの言葉ではなく、アーキテクチャの本質を理解しているか。LLMは論理的な推論ではなく、確率的なパターンマッチングを行うシステムだ。この理解なしに展開先を決めれば、「できないこと」を任せる失敗を繰り返す。 

2. データの実態を把握しているか 

自分たちの業界でデータはどう共有・収集・保存されているか。モデルをチューニングするためにどのデータを使うか。LLMは汎用的な事前学習を経て、ドメイン固有のファインチューニングで初めて意味のある出力を生む。データの実態を見誤ると、投資は空振りに終わる。 

3. 展開の優先順位を決めるフレームワークがあるか 

リスクベースのモデルなど、何を・どの順番で・どう評価するかを決める仕組みがあるか。まず低リスクで人間が監督できる用途から始め、評価とフィードバックを積み重ね、信頼性の確認を重ねながら段階的に拡張する。 

変革への唯一の道は、基盤を作ること 

AIが今四半期にできることを過大評価し、この10年でできることを過小評価する——そんな誤りが繰り返されてきた。 

テクノロジーは進化し、産業は再編される。しかし変革を生み出すのは、基盤となる仕事を丁寧にやり遂げた企業だけだ。 
 
AIに問題があるのではない。問題は常に、人間の側にある。 


Read More from This Article: 失敗しているのはAIではない、人間が失敗しているのだ
Source: News

Resetting the economics of prevention: How CIOs can deliver reliability and possibility

IT is moving from managing infrastructure to orchestrating digital services across applications, data, and business processes. In that model, reliability and performance aren’t attributes of a single platform. They’re properties of the whole system. Now, AI agents are starting to do real operational work, not just route it. That raises the bar: operational context and…

Why cloud security failures are rarely technical

The first serious cloud security issue I encountered early in my career appeared to be a technical failure. A configuration setting had allowed broader access than intended, and the response followed a familiar pattern. The setting was corrected, the fix documented and additional controls were discussed to prevent a repeat. At the time, that response…