chakokuのブログ(rev4)

テック・コミック・DTM・・・ごくまれにチャリ

2016-11-01から1ヶ月間の記事一覧

シフォンケーキを焼いた

材料はいつも通りの以下 卵黄3 砂糖40g サラダ油 40g 湯 80cc (40℃ぐらい) 小麦粉 80g バニラビーンズ メレンゲ: 卵白3 砂糖50g 焼き: 予熱200℃、焼きは180℃、35分(の予定が33分で中断) 卵黄、小麦粉等(メレンゲ以外)を混ぜ終えた状態。ちょっと緩めに…

昼夜連続運転させようとsakura VPSを試行中、一番安い512MBコースでは全然メモリ足りず

夜間PCを連続で走らせるとやかましいし、自分が外出中にヨメサンがPCをぶちっと切ったりもする。そこで、VPSかクラウドで連続稼働させられないか検討。sakura VPSの一番安いコースが月額500円ぐらいで500MBという契約があり、これを試してみた。。結…

バックプロパゲーションの前に、微分をやりなおす

しこしこと取り組んでいるDLfS本ですが、数値的微分によるSGDはまぁこんなものと思い、次はバックプロパゲーションとその前段階の自動微分(本では計算グラフと表現されていますが、自動微分という分野らしい)になります。高校数IIIで微分が始まり、自分と…

【DLfS】俺NNの学習状況→10時間稼働でaccuracy:0.4〜0.5

DLfS本を勉強しながら、数値的微分による勾配法で俺NNを実装して学習させています。数値的微分による勾配降下法はアルゴリズムが理解しやすく簡単に実装できる反面、時間がかかるのはしょうがない。それは十分承知の上とはいえ、おおよそ10時間ぐらい走ら…

【DLfS】俺NNに対してMNISTデータを使って学習させてみる→めちゃくちゃ時間かかる

俺NNのデバッグが終えたと判断して、MNISTデータを使って学習させてみた。使ったネットワーク構成はDLfS通りで、2層で、[784,50,10]とした。データは10パターンを1セットとして、一回学習するごとに次の10パターンを使って勾配での学習(gradient_desce…

【DLfS】俺NNの動作がおかしいのでデバッグ..

簡単なネットワークでは学習したが、なぜかBiasが修正されない。これはまぁ単純なミスだろうから後からデバッグするとして、、バッチ実行させたところ、出力段のソフトマックス関数がバッチに対応してないことが判明。これはDLfS版の関数、softmax(P69)をそ…

【DLfS】めちゃくちゃ単純なネットワークでデバッグ→4千回学習すると正解を出す

MNISTのデータを使ったテストではまともに動いているように思えなかったのでめちゃくちゃ単純な2層ネットワークを作ってテストした。入力が[1,0]の場合は正解が[1,0]、入力として[0,1]の場合は正解が[0,1]で試した。今回はバッチ実行等はしておらず、2つの…

【DLfS】自分の好みでNNを実装、しかし学習がおかしい

DLfSの「4.5章 学習アルゴリズム」のアルゴリズムを踏襲しつつ、自分の好き勝手な実装方法で学習機能(数値微分による勾配降下法)を持つNNを作成した。エラーなしに走るには走るけど、相変わらずいろんな入力に対して同じ答えしか返さない。。しかも、誤差平…

【DLfS】よく理解できなかったサンプルコード→この実装はちょっとルール違反では!?

交差エントロピー誤差(P89)等、完全に数式の背景を理解できない部分もあったがなんとかニューラルネットの勾配(4.2.2 P109)まで読み進めた。で、、Pythonの実装で全く理解できない箇所に出くわした。それは、、P111の以下の実装 def f(W): return net.loss(x…