AI理論：情報理論１
AI
AI理論：情報理論基礎 クロスエントロピー（分類の損失関数） L = -1/N Σtn log yn/T  この説明を目指す １：天気情報をエンコード（符号化）しディスク格納する 晴：５０％ 曇：２５％ 雨：１２．５％ 雪：１２.５％ メモ：８ビット＝１バイト 英語：1byte表現可能＝１バイト＝２の８乗まで表現可能 日本語：2byte = 2の１６乗＝６５５３６通りで表現可能 じゃあ天気はどうするか？ 晴、曇、雨、雪　を1000日分とすると 2byte 1000日　＝　16000bit必要 じゃあ 晴:00 曇:01 雨:10 雪:11 と表すと、2bit✖️1000日で2000 bitで格納可能 もっとbit数減らせない？ と考えると、確率に基づいて以下のようにする 晴:0   50% 曇:01 25% 雨:110 12.5% 雪:111  12.5% 0/01/110/111/0/0/ 1000日と考えると 晴：１bit✖️500日＞1/0.5 = 2 = 2の１乗　＞ log 2の１乗＝１ 曇：2bit ✖️250日＞1/0.25 = 4 = 2の２乗　＞log2の２乗＝２ 雨：3bit ✖️125日＞1/0.125 = 8 = 2の３乗　＞log2の３乗＝３  雪：3bit ✖️125日＞1/0.125 = 8 = 2の３乗　＞log2の３乗＝３  log2 1/0.5 = log2 1/p(x) =-log2P(x)