動画生成は“世界”を学んでいるのか。生成モデルと世界モデルの近いけど遠い関係

“それっぽい未来”と“正しい未来”は別物

動画生成のデモを見て人が驚くのは、動きが自然で、時間方向に破綻が少なく、現実にある“っぽさ”が成立しているからだ。逆に言えば、私たちは「見た目がそれっぽい」だけで、かなりの部分を理解と錯覚する。映画のVFXが物理的に厳密でなくても成立するのと同じで、視覚は細部の整合性よりも大局の流れに強く反応する。ここに、生成モデルと世界モデルを混同しやすい落とし穴がある。

世界モデルが狙う“正しい未来”は、単に自然に見える未来ではない。介入したときに筋が通る未来だ。たとえば、机の上のボールが転がる動画を作るとして、見た目だけなら「それっぽい転がり方」はいくらでも作れる。でも、そこに手を入れてボールを止めたらどうなるか、床の材質が変わったらどうなるか、別の角度から見たら同じ出来事として整合するか。こうした条件を変えたときにも一貫して予測できるなら、初めて“世界の仕組み”を掴んでいると言える。

動画生成が露呈しやすい弱点として、物体恒常性がある。画面の外に出た物体が、戻ってきたときに別物になっていたり、遮蔽物の裏で存在が曖昧になったりする。これが起きるのは、モデルが「物体という単位で世界を追跡している」より、「この画面の次に来そうな画面」を統計的に合成している比重が大きいからだ。もちろん近年は改善が進んでいるが、原理的に“見えない間も同じ物体がそこにある”という信念を維持するのは、単なる次フレーム予測以上の構造を要求する。

もう一つは接触と因果だ。物体同士が触れた瞬間に力が伝わり、速度が変わり、回転が起きる。この「触れたから変わる」という因果は、映像としては短い局所現象だが、世界理解の中核に近い。生成モデルは見た目の連続性を優先して、接触の瞬間を“それっぽく丸める”ことがある。だから、接触しているのにすり抜けたり、逆に触れていないのに影響が出たりする。人間の目は意外とこれを見逃すこともあるが、ロボットやシミュレーション用途では致命的になる。

結局のところ、“それっぽい未来”は「観客を納得させる未来」だが、“正しい未来”は「条件を変えても一貫する未来」だ。動画生成が世界モデルに見える瞬間は増えている。しかし、そのまま世界モデルと呼ぶには、介入と一貫性というハードな条件をクリアする必要がある。

世界モデルとしての生成モデル。どこまで成立しているのか

とはいえ、動画生成モデルが世界モデルに近づいているのも事実だ。理由は単純で、動画は時間方向の因果を含むからだ。画像生成が「一枚の世界」を作るのに対して、動画生成は「世界がどう変わるか」を扱う。そこには自然に、状態と遷移の学習が入り込む。ここで重要なのは、生成モデルが世界モデルに寄るかどうかは、モデルの学習目標というより「どう使うか」と「どんな条件を課すか」で決まる点だ。

世界モデルとして語りやすくなるのは、潜在空間での状態遷移を明示的に持つタイプだ。観測である動画フレームをそのまま扱うのではなく、内部で圧縮した状態表現に落とし、次の状態を予測し、必要に応じて映像に戻す。こうすると、長期予測の計算が軽くなるだけでなく、「今はこういう状況だ」という内部のまとまりが作りやすい。世界モデルの言葉で言えば、潜在状態が“世界の要約”として機能する。

さらに一歩進むのが、アクション条件づけだ。つまり「こう動かしたらどうなるか」を学ぶ形で、入力に行動を入れて未来を生成する。ゲームやロボットの文脈ではこれが決定的で、行動がなければ世界モデルは計画に使いにくい。動画生成でも、カメラの移動、視点の指定、物体の操作など、何らかの“介入”を条件として与えられるようになるほど、世界モデルに近い性格を帯びる。生成が“鑑賞用の映像”から、“試行用の未来”へ役割を変えるからだ。

ただし、ここで壁が出る。動画生成の強みは、現実の多様な見た目を再現できることだが、世界モデルとしては、その多様さが逆に足を引っ張ることがある。見た目の自由度が高いほど、未来の不確実性は増え、モデルは「どの未来でもあり得る」方向へ逃げやすい。すると、もっともらしいが決め手に欠ける予測になる。計画に使うなら、未来が多様であること自体は悪くないが、行動によって分岐が“制御可能”になっていないと意味が薄い。どんな行動をしても、映像がなんとなく流れていくだけなら、意思決定にはつながらない。

長期予測の破綻も避けがたい。動画生成は一歩先を当てるのが得意でも、それを積み重ねると誤差が増える。最初は小さなズレでも、数秒後には別世界に漂流する。これは映像としては「なんか変だけど、雰囲気はそれっぽい」で済むかもしれない。しかし世界モデルとして使うなら、ほんの少しのズレが致命傷になる。特に、衝突や落下のように一瞬のイベントが将来を決める場面では、イベントの扱いが曖昧だと計画が成立しない。

もう一点、生成モデルが世界モデルになりきれない典型は、同じ出来事を別視点で見たときの整合性だ。世界モデルは“世界そのもの”を内部に持つので、視点が変わっても同じ世界として整合するのが理想だ。一方、動画生成はしばしば「この視点の映像」を直接生成する。視点を変えた生成を別途行うと、物体の位置関係や細部が微妙に変わってしまうことがある。これは「世界のモデル」ではなく「映像のモデル」になっている兆候で、世界モデルとの距離を示す分かりやすいサインだ。

つまり、動画生成は世界モデルの素材になり得るが、そのままでは“映像らしさ”に引っ張られる。世界モデルとして成立させるには、行動による分岐、視点を超えた一貫性、イベントの因果、長期安定性といった条件を、どこまで設計に織り込めるかが鍵になる。

評価の難しさと、これからの競争軸

生成モデルが世界モデルに近づいているかどうかを議論するとき、最大の問題は評価だ。画像や動画の生成では、自然さや高精細さが目立つので、評価もそこに寄りやすい。しかし世界モデルとしての価値は、画質ではなく「予測が意思決定に使えるか」にある。ここを測らない限り、進歩しているのか、見た目がうまくなっただけなのかが分からない。

評価が難しい理由の一つは、未来が一つに決まらないことだ。現実の映像ですら、少し条件が変われば別の未来になる。正解の未来が複数ある以上、「このフレームが正しい」と一意に言えない。そこで、生成の評価では統計的な指標や人間の主観が使われがちだが、世界モデルとしての能力を測るには不十分になりやすい。必要なのは「介入に対して整合するか」「制約を守るか」「長期的に破綻しないか」といった性質だが、これらは短いクリップを眺めるだけでは判断しにくい。

もう一つは、モデルが“うまいごまかし”を覚えることだ。例えば、物体が見切れそうになったら、都合よくカメラを揺らして誤魔化すような生成は、動画としては自然でも、世界理解としては後退かもしれない。あるいは、人間が気づきにくい矛盾を抱えたまま、質感やライティングで説得してくる。映像の説得力は強力で、評価者の感覚を簡単に乗っ取る。だから、世界モデルとしての評価は、人間の主観に頼りすぎない仕組みが要る。

今後の競争軸として見えてくるのは、いわば“世界に対するテスト”だ。条件を変えるテスト、視点を変えるテスト、行動を入れるテストを通じて、どこまで一貫性を保てるかが問われる。単に「次フレームっぽいもの」が出るだけではなく、「この操作をしたらこうなる」という因果が維持されるか。遮蔽物の裏で物体が存続するか。接触の結果が物理として成立するか。こうしたチェックは、映像の美しさとは別の次元でモデルを評価する。

プロダクト視点で見ると、世界モデル的な動画生成は“用途”で価値が決まる。映画制作や広告クリエイティブでは、多少の物理矛盾より表現力が重要かもしれない。一方、ロボットの訓練や作業計画では、見た目が多少荒くても因果が正しいほうが価値が高い。つまり、同じ動画生成でも、世界モデルに寄せるほど「正しさ」が要求され、表現の自由度とのトレードオフが強くなる。ここを理解せずに「動画生成が進んだから世界モデルも完成に近い」と結論づけるのは危険だ。

結論として、動画生成は世界モデルの入口に立っている。時間を扱う以上、内部に状態遷移が芽生えるからだ。しかし、世界モデルと呼ぶためには、見た目の連続性ではなく、介入と一貫性に耐えることが必要になる。生成モデルが次に競うのは、画質だけではない。“世界として筋が通る未来”をどれだけ作れるか。そこに、生成AIの次の本当の伸びしろがある。