chakokuのブログ(rev4)

日々のごった煮ブログです

ゼロから作るDeepLearning2

RNNの作成に入る前に、ゼロDL本(1)の復習をまずやっています。前回、俺NNを作った時に、交差エントロピーがよくわからず、分からないままに置いといて実装だけやった。改めて、ゼロDL(2)で冒頭の復習ページ読んでみてやっぱり分からず。。交差エントロピーの式だけ見ても意味分からないので、他の人の解説記事を探してみる。

クロスエントロピーとは、情報量の期待値(情報量に確率を掛け算してΣ)
なぜ情報量を表すのにlogを使うのか??

情報量の意味と対数関数を使う理由
http://mathtrain.jp/johoryo

■参考URL
いっきに Python に詳しくなるサイト様
交差エントロピーの導出
http://nihaoshijie.hatenadiary.jp/entry/2017/04/26/062304

情報理論を視覚的に理解する (3/4)
https://postd.cc/visual-information-theory-3/

クッキーの日記様、「雑記: 交差エントロピーって何」
http://cookie-box.hatenablog.com/entry/2017/05/07/121607

そもそも、、条件付き確率からしてあまりよくわからない。機械学習と確率は密接な繋がりだが。。避けて通って来た負の遺産。。