AI理論:主成分分析の基礎:固有値分解
AI

AI理論:主成分分析の基礎:固有値分解

固有値分解とは

正方行列A✖️ベクトルx = λ(スカラ)✖️ベクトルx

を満たすλとベクトルxを固有値、固有ベクトルと呼ぶ

ただし条件は

 

各値のサイズ感は以下の通り

固有値、固有ベクトルを求めてみる

行列A を A

ベクトルx をx

ゼロベクトル=0v

として式にしていく

(A-λI)x = 0v (Iはλを行列にするための単位行列)

 

これに左から(A-λI)の➖1乗をかける

>これは(A-λI)を消したいというモチベーション

(A-λI)-1乗✖️(A-λI)x = (A-λI)➖1乗✖️0v

>x = 0v

 

あ、xベクトルは0ベクトルかー!となるのですが!

条件に

がありました。だからこの回答は矛盾します!

ではどう解くのか?

 

固有値分解の例題

行列A = [8 1¥4 5] の時を考えて見ましょう

これを以下のように表します。

すると以下のように表せますね。

さらにうえの式を行列の計算できるよう単位行列Iを使って

とすると、行列A = [8 1¥4 5] の時

A-λI = [8 1¥4 5] - [λ 0 ¥ 0 λ]

=[8-λ 1 ¥ 4 5-λ] = 0v

これを行列式の襷掛け[a b ¥ c d] ad - bc をすると

=(8-λ)(5-λ)-1✖️4 = 0

=40 - 13λ + λ*2(λ二乗)

 =λ*2-13λ+36

 >λ = 4 ,9

 

固有値λが出ました!

この値を使って、固有ベクトルxを求めます!

 

固有値ベクトルを求める!

固有値λが4、9と求めたれたので

 

λ=4の時

A-λI = [8 1¥4 5] - [λ 0 ¥ 0 λ] にλ=4を代入します

 

([8 1 ¥ 4 5] - [4 0¥ 0 4])✖️x = [0 0]

行列の引き算をして、

[4 1¥ 4 1][x1 x2] = [0 0]

4x1 + x2 = 0

>4x1 = -x2

x=1の時、x2 = -4

x = [1 -4]

 

λ=9の時

([8 1 ¥ 4 5] - [9 0¥ 0 9])✖️[x1 x2] = [0 0]

[-1 1¥ 4 -4] ✖️ [x1 x2] = [0 0]

-x1 + x2 = 0

x1 = 1の時x2 = 1

x = [1 1 ]

 

これで固有値ベクトルxは[1 -4] , [1 1 ] 

と求めることができました!