RNNはいろんな記事で紹介されているけど、時間経過をネットワークで表現した図と、ネットワークの構造（時間が止まっている時の構造）が混乱してしまって、良くわからない。一番シンプルな構造でまずは理解するのが良かろうと思われ、非常に短いサンプルソー…

ディープラーニングと呼ばれるNNは一般的にFeed Forward Neural Networkと呼ばれるもので、過去のNNの状態を計算には加えず、入力に対して出力が算出されるもの。一方、文書理解とか音声認識は、Recurrent Neural Network(RNN)と呼ばれる、過去のNNの状態と…

バックプロパゲーションを実装して、MNISTデータを使って5000回学習させた結果、lossが0.440で、accuracyが0.89(正解率89%)に到達。なお、正解率は学習の都度、上下変動しており、調子がいい場合は92%ぐらいまで上がる。従来の数値的微分による学習の場合、…

前回ロールケーキを焼いた時、生地がベコベコになったので、今回は焼き型を買った。それを使って焼いてみた。検証目的なら前回と同じ配合で焼くべきだけど、焼き型に新しいレシピが付いてきたのでそれに倣って作ってみた。 全卵３ 砂糖 70g 小麦粉 100g はち…

「ゼロから作るDeep Learning」(DLfS本)を読んで、算術的微分で実装して一定の学習効果を確認したので、次はバックプロパゲーションの理解にとりかかった。 バックプロパゲーションを理解するのに、DLfS本では計算グラフを取り上げ、計算を演算子のノードと…