クロスエントロピー（分類の損失関数）
L = -1/N Σtn log yn/T
この説明を目指す
晴：５０％
曇：２５％
雨：１２．５％
雪：１２.５％
メモ：８ビット＝１バイト
英語：1byte表現可能＝１バイト＝２の８乗まで表現可能
日本語：2byte = 2の１６乗＝６５５３６通りで表現可能
じゃあ天気はどうするか？
晴、曇、雨、雪 を1000日分とすると
2byte 1000日 ＝ 16000bit必要
じゃあ
晴:00
曇:01
雨:10
雪:11
と表すと、2bit✖️1000日で2000 bitで格納可能
と考えると、確率に基づいて以下のようにする
晴:0 50%
曇:01 25%
雨:110 12.5%
雪:111 12.5%
0/01/110/111/0/0/
1000日と考えると
晴：１bit✖️500日＞1/0.5 = 2 = 2の１乗 ＞ log 2の１乗＝１
曇：2bit ✖️250日＞1/0.25 = 4 = 2の２乗 ＞log2の２乗＝２
雨：3bit ✖️125日＞1/0.125 = 8 = 2の３乗 ＞log2の３乗＝３
雪：3bit ✖️125日＞1/0.125 = 8 = 2の３乗 ＞log2の３乗＝３
log2 1/0.5 = log2 1/p(x)
=-log2P(x)