AI理論：ベイズの定理
AI

AI理論：ベイズ則

ベイズ則とは「同時確率」P(x,y)

>x,yが同時に起こる確率のことを表す。

例）x＝男、y＝小学生　が同時に起こる確率のこと

 

大事なのが「独立性」

p(x,y) = p(x)/男の確率✖️p(y)/小学生の確率　x、yが独立に成立する状態

＞独立＝お互いの確立に影響を与えない。

 

p(y)/小学生の確率　＝　∮p(x,y)d(x)

                          >N/Σn=1 ∮（x0) ✖️xn =1

                         >男である確率を全て足すと１になる

条件つき確率

p(x|y) = p(x y)/p(y)

yが前提でxが起こる確率を表す式

 

例）サイコロ[1,2,3,4,5,6]

x = 4以上

y = 偶数

p(x|y) = p(xy)/p(y) = 2/6/3/6＝2/3

p(x,y):偶数かつ４以上の確率 = 2/6

p(y):偶数の確率=3/6

>yが偶数の時、４以上の確率

 

ベイズの定理

条件つき確率

式１

p(x|y) = p(x y)/p(y)

p(x|y) = p(x y)/P(x)

これが以下のように式変形可能

式２

p(x y) = p(x|y)p(y)

p(x y) = p(y|x)p(x)

ここからさらに

式３

p(x|y)p(y) = p(y|x)p(x)

と表すことができる。なぜなら式１は２つともp(x|y)を表すから

式１の双方の式の右辺は等しい

式４

p(x|y) = p(y|x)✖️p(x)/p(y)

これがベイズの定理

 

ベイズの定理を機械学習で使うには？

データセットD{xn,tn} n=1の時

パラメータθの最適化をする際に使用する

p(θ|D) = P(D|θ）p(θ)/p(D)

分解解説

P(D|θ）：尤度関数・・・パラメータθ前提のDの確率

P(θ）：事前分布　パラメータの確率

P(D) : 定数

 

ポイント

・パラメータθの事前情報を入れることができる

・尤度関数を利用できる

・横軸パラメータθ、縦軸確率が一定ではなく、分布を示す時

　活用できる