次元の呪い➂-高次元データと主成分分析-

↓↓↓動画で見たい方はこちら↓↓↓

みなさんこんにちは。和からの数学講師の伊藤です。今回は次元の呪い①、次元の呪い②に続くシリーズ第三弾ということで、主成分分析について掘り下げていきます。主成分分析は、複数の項目があるデータの情報を要約するための統計学・機械学習の手法でした(詳しくは前回の記事を参照)。

また以前の記事で、膨大な項目数を持つデータである高次元データというものをご紹介しました。

高次元データとは？-高次元統計解析-

大量の情報を持つ高次元データとデータを要約する主成分分析は、一見するととても相性がよさそうです。しかし、実は高次元データに対して主成分分析を適用しようとすると、大きな問題が起こってしまうのです…。今回はそんな不思議な現象のお話です！

１．高次元データと主成分分析

大量の情報を持っている高次元データと主成分分析は、一見するととても相性がいいように思えます。データを要約することで高次元データを解釈しやすくしたり、データを縮約して低次元に落とし込むことで、従来の手法を使ってデータ分析が行えたりと、期待されるものは大きいです。

このように次元の呪いを回避できると期待される主成分分析ですが、実はこの主成分分析という手法自体が、次元の呪いを受けているという事実が指摘されているのです。

主成分分析では、データの共分散行列の固有値と固有ベクトルを求めることになるのですが、母集団の共分散行列の固有値と固有ベクトルは神のみぞ知る情報です。大体の統計手法では、こういったものは標本から推定していきます。

主成分分析では、標本共分散行列の固有値と固有ベクトルを使って、母集団の固有値・固有ベクトルを推定するのですが、この推定が間違っていたら無意味になってしまいます。では、高次元データを使って推定した固有値・固有ベクトルはどうなるでしょうか。この推定した量について、数学的に好ましくない性質が指摘されています。

２．固有値・固有ベクトルの不一致性

主成分分析では、標本共分散行列の固有値と固有ベクトルを用いて、母集団の共分散構造を推定します。ただし、標本数に比べて次元が大きい場合、通常の推定がうまくいかないことがあります。その性質は、次元だけでなく、標本数と、主要な固有値の大きさ（信号の強さ）との関係によって変わります。

「次元が増えれば、すべての固有値が大きくなり、すべての固有ベクトルが直角にずれる」と理解するのは正確ではありません。例えば、標本数をn、項目数をpとすると、平均を引いて作る標本共分散行列の階数は最大n−1です。そのためp＞n−1では、標本固有値の一部は必ず0になります。高次元統計解析では、標本数・次元・信号の強さなどの条件を調べ、推定のずれを扱います。

３．高次元主成分分析

先ほどの話から、高次元データの情報を縮約するためには、推定した固有値・固有ベクトルのズレを補正する必要があります。この時、考え方の鍵になってくるのは、データに含まれているノイズの扱いです。ノイズとは要するに、余計な情報ということです。データがたくさんある状況では、それぞれの項目に誤差があるため、その誤差たちが積もり積もって巨大なノイズ（余計な情報）となっています。これは、大切な情報がノイズの山に埋もれているという状態です。

対処法の一つが「ノイズ掃き出し法」です。標本固有値に含まれるノイズの影響を推定して補正し、主要な固有値の推定を改善します。考え方は「推定したノイズ分を差し引く」というものですが、有限個のデータからノイズを完全に取り除けるという意味ではありません。適用できる条件と、残る推定誤差を確認する必要があります。

ちなみに、ノイズ掃き出し法を使うには、データが一定の条件を満たしている必要がありますが、実はノイズ掃き出し法で対応できないデータにも、クロスデータ行列法と呼ばれる方法で対応できることもあります。これはイメージとしては、データを二分割してかけ合わせることで、ノイズの影響を打ち消すことができるといった手法なのですが、正直、なんでそんな方法を思いついたのかは私には理解できません…（笑）

こうした方法では、データの構造や標本数・次元に関する一定の条件のもとで、固有値や固有ベクトルの推定に一致性などの性質を示せます。一致性は、定められた極限で推定が真の量に近づくという性質であり、手元の有限データで必ず誤差が0になるという意味ではありません。

４．まとめ

いかがでしたでしょうか。高次元データに適応した、新しい主成分分析の方法のお話でした。今回は主成分分析にフォーカスしてノイズ掃き出し法やクロスデータ行列法といった方法をご紹介しましたが、これらの手法が生きてくるのは、主成分分析の世界だけではありません。固有値の情報を正確にとらえる必要があるたくさんの場面で活かすことのできる手法です。

こういった新しい手法で、従来扱えなかったデータに対応できるようになるというのも、高次元統計解析の大きな魅力の一つです！

●和からのセミナー一覧はこちら
●お問い合わせフォームはこちら

<文/伊藤智也>

↓↓ノイズ掃き出し法やクロスデータ行列法を開発した私の恩師の著書です！

高次元の統計学　青嶋 誠(著),矢田 和善(著)　共立出版

---

参考：Shen, Shen & Marron (2016), A General Framework for Consistency of Principal Component Analysis、Yata & Aoshima (2012), Effective PCA for high-dimension, low-sample-size data with noise reduction via geometric representations。

※2026年11月10日に内容を更新しました。