AI構築で問題となるか学習対策
その代表的な事例の理論をざっくりと調べました。
重みが大きくなりすぎないように、重みに対して制約をかけること
L(w) + R(w) を最小とする（重みも同時に最小化する）
L(w) とは、損失関数
R(w)とは正則化項
正則化には２つある
L1正則化＞ Lasso回帰
R(w) = |w| = |w1| + |w2| + |wm|
L(w) + λ|w|を最小化する
L2正則化＞Ridge回帰
R(w) = ||w||２乗 = w1^2 + w2^2 + wm^2
=Wt W(W転置w）
L(w) + 1/2λwtw（w転置w）