モデル崩壊とは？｜AIがAIの出力で学ぶと分散が消える仕組みを計算する

公開日

2026年9月8日

更新日

2026年9月8日

モデル崩壊（model collapse）とは、AIが生成したデータを使ってAIを学習させることを繰り返すと、世代を追うごとにモデルが劣化していく現象のことです。2024年7月、『Nature』に掲載された論文で報告され、AI生成コンテンツがWebを埋めつつある現在、学習データの調達そのものに関わる問題として注目されています。

先に結論をお伝えします。これは統計の話です。崩壊の中心にあるのは、有限個のサンプルから分布を推定し、その推定分布からまたサンプルを取る、という操作の繰り返しです。そして、この操作には次の性質があります。

分散の期待値は保たれるのに、ほとんどすべての経路で分散は0に向かう。

平均だけを見ていると、何も起きていないように見える場合があります。変化を捉えるには、中央値や分布全体も見る必要があります。本記事では、この構造を簡単なシミュレーションで確かめます。1世代あたり100個のサンプルで100世代回すと、分散の平均は1.01のままなのに、中央値は0.36まで落ちます。

この記事の主な内容

この記事のポイント

モデル崩壊は、AI生成データがそのまま次世代の学習データを汚染することで起きる退化プロセスです（Shumailov ほか、『Nature』2024年7月）。
崩壊は2段階で進みます。初期崩壊で分布の裾（めったに起きないこと）が失われ、後期崩壊で元とは似ても似つかない、分散の縮んだ分布へ収束します。
論文が整理した要因の一つが統計的近似誤差です。本記事の単純な正規分布モデルでは、有限サンプルによる誤差だけでも退化が起こりえます。実際のモデル崩壊には、表現力や学習手法の誤差も関わります。
不偏推定量を使っても崩壊は止まりません。期待値は保たれるのに典型的な経路は0へ向かうという、幾何平均と算術平均のずれによるものだからです。破産問題と同じ構造です。
本記事のシミュレーションでは、1世代100サンプルのとき分散が半分になるまでおよそ68世代。サンプル数を10倍にしても、遅くなるだけで止まりません。
実務上とくに注意したいのが「裾が消える」ことです。裾には例外・異常・少数意見が含まれるため、用途によってはリスクを過小評価する方向に働きます。

何が報告されたのか

論文は Ilia Shumailov らによる「AI models collapse when trained on recursively generated data」（『Nature』第631巻755〜759頁、2024年7月24日）です。モデル崩壊は、学習済みの生成モデルが世代を重ねるうちに退化していく過程と定義され、そのモデル自身が生成したデータが次の世代の訓練セットを汚染することで進みます。

進み方は2段階に分けられています。

初期モデル崩壊：分布の裾の情報が失われはじめる段階。全体の形はまだ元に似ています。
後期モデル崩壊：元の分布とほとんど似ていない分布へ収束する段階。多くの場合、分散が大きく縮んだ状態になります。

崩壊を引き起こす誤差として、論文は3つを挙げています。

① 統計的近似誤差：サンプル数が有限であることによる誤差。

② 関数表現力の誤差：ニューラルネットワークが表現できる関数に限りがあることによる誤差。

③ 関数近似の誤差：確率的勾配降下法など、学習手法そのものが持つ偏りによる誤差。

後ろの2つはモデルを改良すれば小さくできますが、1番目は原理的に消せません。有限個のサンプルしか取れない以上、必ず残ります。この記事で扱うのもここです。

言語モデルでの実験も行われています。OPT-125m を wikitext2 で学習させ、生成した文章で次の世代を学習させる操作を繰り返したところ、元データを一切残さない条件では困惑度（perplexity）が悪化しました。一方、論文の元データを10%含める実験条件では、劣化は比較的小さく抑えられました。この10%は当該実験の条件であり、あらゆるモデルに通用する最低比率ではありません。

和から式｜正規分布1つで崩壊を見る

言語モデルは複雑なので、正規分布ひとつで同じことを起こしてみます。手順はこれだけです。

① 真の分布（平均0、分散1の正規分布）から n 個のサンプルを取る。

② そのサンプルから平均と分散を推定する（不偏推定量を使う）。

③ 推定した分布から、また n 個のサンプルを取る。

④ ②と③を繰り返す。

ずるはしていません。毎回、正しい推定方法を使っています。それでも次のようになります。以下は n＝100 として2,000回の試行を行い、世代ごとの分散を集計した結果です。

世代数	分散の平均	分散の中央値	分散が半分以下になった試行の割合
10世代	1.00	0.90	9.2%
50世代	0.98	0.61	42.0%
100世代	1.01	0.36	58.9%

平均の列を見てください。100世代回しても1.01のままで、まったく劣化していないように見えます。不偏推定量を使っているのだから当然で、これは正しい挙動です。

ところが中央値の列は0.36まで落ちています。典型的なモデルの分散は3分の1になっているのに、平均を見ている限り気づけない。平均が保たれているのは、ごく一部の試行で分散が大きく膨らみ、その少数が全体の平均を支えているからです。

なぜ期待値が保たれるのに、ほぼ確実に0へ向かうのか

世代ごとに分散は、ある倍率がランダムに掛かる形で変化します。掛け算の繰り返しなので、対数を取ると足し算のランダムウォークになります。

ここで効いてくるのが、算術平均と幾何平均のずれです。倍率の平均が1でも、対数を取った平均は必ず1未満（対数の期待値は負）になります。イェンセンの不等式そのもので、期待値は保たれるのに、典型的な経路は下がり続けるという結論が出ます。

これは投資や賭けで語られる破産問題と、乗法過程という点で数学的によく似ています。ただし、資金とモデル分散は同じ対象ではありません。期待値と典型的な経路がずれる直感を得るための類比です。

1世代あたりのサンプル数を n とすると、分散の対数は1世代につきおよそ 1/(n−1) ずつ下がります。半分になるまでの世代数は、およそ 0.69 ×（n−1） です。

1世代あたりのサンプル数 n	分散が半分になるまでの世代数
10	約6世代
100	約68世代
1,000	約692世代
10,000	約6,931世代

この単純モデルでは、データを10倍にすると典型的な縮小はおよそ10倍遅くなりますが、再帰生成だけを続ける限り止まりません。論文のガウス分布に関する結果とも整合します。ただし、これは元データを補充しない閉じた条件の話です。実システムでは、人間由来データの保持、選別、重み付け、評価によって退化を抑える余地があります。

いちばん困るのは「裾が消える」こと

分散が縮むと聞くと、平均的な答えは変わらないのだから大した問題ではないと思われるかもしれません。実務で困るのは、そこではありません。

分布の裾とは、めったに起きないことです。事故、不正、例外処理、少数意見、想定外の顧客。統計を仕事で使う場面の多くは、平均ではなく裾に関わります。異常検知はもちろん、在庫の安全余裕も、与信の判断も、品質管理の管理限界も、すべて裾の厚みで決まります。

初期モデル崩壊で失われやすいのが、まさにこの裾です。裾が薄くなったデータでは、まれな事象の確率を過小評価する可能性があります。一方で、用途や変形の仕方によって影響は異なります。平均値だけの確認では見逃しうるため、分位点や外れ値、カテゴリ別の再現率も見ます。

これは大規模モデルだけの問題とは限りません。AIが付けた分類を正解ラベルとして次のモデルを学習させるなど、生成データで再学習する閉じた輪では、小規模でも同種のリスクがあります。一方、AIが作った資料を繰り返し要約するだけなら、厳密にはモデルの再学習ではありません。こちらは情報が要約のたびに失われる類似問題として区別します。

論文の著者らは、LLM生成コンテンツが増えるなかで、人間由来の元データを保全する重要性が高まると論じています。論文では元データを10%含める条件で劣化が比較的小さかったものの、必要な比率はデータ、モデル、目的によって変わります。

実務で何をすればよいか

① 輪を切る。生成データを次の学習に使うなら、人間由来の元データを保持し、品質を確認したデータを継続的に混ぜます。10%は論文中の一条件であり、自社では複数比率を比較して性能と裾の再現を評価します。

② 平均ではなく裾を見る。データの質をモニタリングするなら、平均や合計ではなく、分散・最大最小・外れ値の件数を追ってください。崩壊は平均には現れません。

③ 人間が作った元データを消さない。整形済み・要約済みのデータだけを残して原本を捨てると、後から裾を復元できません。原本の価値は、この現象を知ると見え方が変わります。

分散や分布の裾を業務のなかでどう読むかは、社会人のための統計学・データ分析教室で扱っています。組織としてデータの見方を揃える場合は統計・データ分析研修もご覧ください。

この記事のシミュレーションについて

本記事の表は、論文の実験結果ではなく本記事で独自に行った数値実験です。平均0・分散1の正規分布から出発し、毎世代 n 個のサンプルから不偏推定量で平均と分散を推定し、その分布から次の世代を生成する操作を繰り返しました。試行回数は各条件2,000回です。
扱っているのは正規分布1つだけで、実際の言語モデルの崩壊はこれよりはるかに複雑です。ここで示したのは、崩壊の原因のうち統計的近似誤差だけを取り出すと何が起きるかです。
半減期の近似式 0.69×(n−1) は、対数分散の1世代あたりの変化量から導いた概算です。

よくある質問

モデル崩壊は、もう実際に起きているのですか

大規模な商用モデルで崩壊が確認されたという報告は、現時点ではありません。開発各社はデータの選別や人間が作ったデータの確保に力を入れており、そのこと自体がこの問題への対応でもあります。この論文が示したのは「何もしなければこうなる」という原理であって、「いま起きている」という観測ではない、という区別は必要です。

合成データを使うのは悪いことなのですか

いいえ。合成データは、データが足りない領域を補う手段として有効な場合があります。問題になるのは、生成と学習が閉じた輪になり、元の分布に関する情報が失われるときです。元データの混合比率、選別方法、評価指標を含む設計の問題であって、合成データそのものの是非ではありません。

不偏推定量を使えば防げるのではないのですか

防げません。本記事のシミュレーションは、まさに不偏推定量を使っています。不偏性が保証するのは期待値であって、個々の経路がどうなるかではありません。表の「平均1.01・中央値0.36」が、その違いをそのまま示しています。統計の教科書の外で、この差がここまではっきり効いてくる例は珍しいと思います。

自社のデータでも起こりますか

自社でも、生成データやAIのラベルを正解として繰り返し学習するなら起こりえます。ただし、規模が小さいだけで必ずモデル崩壊するわけではありません。サンプル数、元データの保持、選別、モデル更新の方法でリスクは変わります。再学習をせず要約だけを繰り返す場合は、モデル崩壊ではなく情報の欠落として管理します。