材料はいつも通りの以下 卵黄3 砂糖40ｇ サラダ油 40g 湯 80cc (40℃ぐらい) 小麦粉 80g バニラビーンズ メレンゲ： 卵白3 砂糖50g 焼き： 予熱200℃、焼きは180℃、35分(の予定が33分で中断) 卵黄、小麦粉等（メレンゲ以外）を混ぜ終えた状態。ちょっと緩めに…

夜間PCを連続で走らせるとやかましいし、自分が外出中にヨメサンがＰＣをぶちっと切ったりもする。そこで、ＶＰＳかクラウドで連続稼働させられないか検討。sakura VPSの一番安いコースが月額５００円ぐらいで500MBという契約があり、これを試してみた。。結…

しこしこと取り組んでいるDLfS本ですが、数値的微分によるSGDはまぁこんなものと思い、次はバックプロパゲーションとその前段階の自動微分（本では計算グラフと表現されていますが、自動微分という分野らしい）になります。高校数IIIで微分が始まり、自分と…

DLfS本を勉強しながら、数値的微分による勾配法で俺NNを実装して学習させています。数値的微分による勾配降下法はアルゴリズムが理解しやすく簡単に実装できる反面、時間がかかるのはしょうがない。それは十分承知の上とはいえ、おおよそ１０時間ぐらい走ら…

俺NNのデバッグが終えたと判断して、MNISTデータを使って学習させてみた。使ったネットワーク構成はDLfS通りで、２層で、[784,50,10]とした。データは１０パターンを１セットとして、一回学習するごとに次の１０パターンを使って勾配での学習(gradient_desce…

簡単なネットワークでは学習したが、なぜかBiasが修正されない。これはまぁ単純なミスだろうから後からデバッグするとして、、バッチ実行させたところ、出力段のソフトマックス関数がバッチに対応してないことが判明。これはDLfS版の関数、softmax(P69)をそ…

MNISTのデータを使ったテストではまともに動いているように思えなかったのでめちゃくちゃ単純な２層ネットワークを作ってテストした。入力が[1,0]の場合は正解が[1,0]、入力として[0,1]の場合は正解が[0,1]で試した。今回はバッチ実行等はしておらず、２つの…

DLfSの「4.5章 学習アルゴリズム」のアルゴリズムを踏襲しつつ、自分の好き勝手な実装方法で学習機能(数値微分による勾配降下法)を持つNNを作成した。エラーなしに走るには走るけど、相変わらずいろんな入力に対して同じ答えしか返さない。。しかも、誤差平…

交差エントロピー誤差(P89)等、完全に数式の背景を理解できない部分もあったがなんとかニューラルネットの勾配(4.2.2 P109)まで読み進めた。で、、Pythonの実装で全く理解できない箇所に出くわした。それは、、P111の以下の実装 def f(W): return net.loss(x…