end0tknr's kipple - 新web写経開発

http://d.hatena.ne.jp/end0tknr/ から移転しました

固有値、固有ベクトルからの主成分分析 オレオレ入門 (PCA: Principal Component Analysis)

主成分分析は、算出された固有値固有ベクトルを優先度付けすることで、 多次元の行列を次元削減する為のものですが、口では上手く説明できなかったのでメモ。

固有値固有ベクトル の算出方法?

end0tknr.hateblo.jp

以前のエントリに記載している通りです。

線形変換における固有ベクトルの特徴

行列は座標の変換に用いられますが、 座標変換を行った後も固有ベクトルは、その向きが変わることはありません。

上記urlにある線形変換の図(GIFアニメーション)が分かりやすいと思います。

deeplearning4j.org

(振動においては「固有振動数」という似た用語?もありますが)

行列は、次数に応じた固有値固有ベクトルを持つ

以前の私のエントリでは、2次行列に対する固有値固有ベクトルの 算出のみ記載していますが、3次行列では3種、4次行列では4種のように、 行列は、次数に応じた固有値固有ベクトルを持ちます。

f:id:end0tknr:20170919224645p:plain

主成分分析は、固有ベクトル固有値順にソートしたもの

例えば、5次行列の固有ベクトルを算出し、 これを固有値順に表示すると次のようになると思います。

f:id:end0tknr:20170919224655p:plain

結局?、主成分分析では、固有値の大きさ(寄与度)を参照しながら、 採用する固有ベクトルを決定することで、次元削減を行います。