LLMはなぜ自信満々に間違えるのか:ハルシネーションの原因と減らし方

幻覚の正体:知らないときに「空欄を埋める」癖が出る

LLMは、質問に対して正解を検索して答えるのではなく、与えられた文脈から次に来そうな文章を生成する。つまり、空欄があると埋めたくなる。情報が足りないときでも、データの中でよく見た“それっぽい続き方”に沿って文章を作ってしまう。このとき、文体は整っているので自信があるように見えるが、裏付けがあるとは限らない。

幻覚の種類:同じ“嘘”でも壊れ方が違う

幻覚にはいくつかのパターンがある。事実関係が違うもの、存在しない論文やURLを捏造するもの、引用元を取り違えるもの、数字や単位の整合が崩れるもの、話題の主語がすり替わるものなどだ。対策を考えるときは、まずどのタイプの幻覚が問題なのかを切り分けるのが重要になる。たとえば計算ミス系には外部計算や検算が効くが、引用捏造には参照の強制や検証が必要になる。

起きる理由その1:学習データが矛盾していても損失は下がる

学習データは完全ではない。Webには誤りがあり、古い情報があり、意見が混ざり、矛盾が共存する。次トークン予測は、その矛盾を解消するのではなく、矛盾したまま「もっともらしい続き」を学ぶ。さらに、ある話題が断片的にしか存在しないと、モデルは“雰囲気”だけを学び、細部の事実を取り違えやすくなる。専門用語の定義が揺れていたり、同名の人物がいたりすると、混線が起きやすい。

起きる理由その2:推論時のランダム性と誘導が嘘を強化する

生成時の設定も幻覚に効く。温度が高い、top-pが広いと、多様性は増えるが破綻もしやすい。また、プロンプトが強く断定を求めると、モデルは不確実でも断定文を作りやすい。逆に「根拠がない場合は不明と言う」「確信度を述べる」といった指示は、幻覚の表面化を抑えることがある。ただしそれは「嘘を減らす」というより「不確実性を言語化させる」効果に近い。

減らし方の基本:モデルに“外部の根拠”を持ち込む

幻覚を減らす王道は、根拠となる情報を文脈として与えることだ。社内文書や信頼できる資料を検索して提示し、その範囲内で回答させる。いわゆるRAGは、この発想の実装である。重要なのは、検索結果を貼るだけでは足りず、回答が参照した根拠と結びつくように、引用や要約の形で構造化することだ。根拠が提示されれば、モデルは“空欄を埋める”必要が減り、幻覚は減りやすい。

減らし方の実務:検証可能な形に回答を分解する

高リスク領域では、回答を一発で出させない方がよい。まず前提を列挙し、次に必要な情報を特定し、最後に結論を出すように分解する。さらに、引用が必要なら引用箇所を必ず示させる。数値が絡むなら、途中計算を明示し、別手段で検算する。こうした分解は、モデルの内部推論を完全に信用するのではなく、検証可能な外形に落とす工学である。

まとめ:幻覚は必然として起きるが、設計で大きく減らせる

LLMは確率的に文章を生成するため、情報が不足すると空欄を埋める方向に働く。学習データの矛盾や断片性、推論時のランダム性や誘導が重なると、もっともらしい嘘が出る。対策は、根拠を与える、回答を検証可能な形に分解する、生成設定を保守的にする、引用を強制する、といった設計である。幻覚をゼロにするというより、問題の種類に応じて“許容できる形”に抑え込むのが実務的なゴールになる。


Read More from This Article: LLMはなぜ自信満々に間違えるのか:ハルシネーションの原因と減らし方
Source: News

Understanding transformers: What every leader should know about the architecture powering GenAI

Generative AI has gone from research novelty to production necessity. Models like GPT-4, Claude, Gemini and Llama now power everything from customer support to developer tooling. Yet many leaders still describe these systems as “black boxes.” The reality is far less mysterious. What powers every generative AI model is not magic, but architecture. Specifically, the…

Fearing an AI bubble? CIOs have answers

While there may be a lot of “hysteria” surrounding AI right now, Jim Palermo, for one, isn’t too concerned about a potential AI bubble. Palermo, CIO of Trimble, a $3.7 billion platform company serving the engineering, construction, and transportation industries, says that despite the noise, Trimble will continue investing in the technology to drive innovation…

TIAA’s Sastry Durvasula offers CIOs a blueprint for engineering what’s next

As chief operating, information, and digital officer at TIAA, Sastry Durvasula oversees four interconnected pillars — technology, digital and client experience, operations, and shared services — powering one of the most trusted institutions in financial services. With a track record of leading transformation at big brand organizations, Durvasula is known for his ability to write…

검진 결과 분석부터 식단 제안까지···오픈AI, ‘챗GPT 건강’ 선봬

챗GPT 건강은 이용자가 자신의 건강 정보를 바탕으로 ▲건강 검진 결과를 분석하고 ▲진료 전 필요한 질문을 정리하며 ▲식단이나 운동 루틴과 관련된 일반적인 조언을 받는 등 건강·웰니스와 관련된 일상적인 정보를 제공받을 수 있도록 설계된 기능이다. 해당 기능은 의료 전문가와의 협업을 통해 개발됐으며, 사용자가 자신의 건강 상태를 보다 체계적으로 이해하고 장기적인 건강 관리에 참고할 수 있도록 돕는 데…