chakokuのブログ(rev4)

テック・コミック・ごくまれにチャリ

バックプロパゲーションの前に、微分をやりなおす

しこしこと取り組んでいるDLfS本ですが、数値的微分によるSGDはまぁこんなものと思い、次はバックプロパゲーションとその前段階の自動微分(本では計算グラフと表現されていますが、自動微分という分野らしい)になります。高校数IIIで微分が始まり、自分としては普通に勉強したつもりです。。が、、やっぱりDLfS本で合成関数の微分とか言われて、うーんどうだっけ??と分からなくなっているのでした。というわけで、、俺NNプログラムはスクラッチで組んでいますが、理論もできるだけ積み上げで理解したいと思い、微分の本を買いました。

ふたたびの微分・積分

ふたたびの微分・積分

この本では、もう一度微分、、しかも、、積み上げて行間を埋めてしっかり説明ということで、再度微分ってどうやるんだっけ?というのを復習する予定。で、、微分がある程度分かった後に、コロナ社の自動微分になるわけです。。アマゾンでは在庫がなくて、コロナ社に注文。いま在庫がなくて刷っているところらしい。。
アルゴリズムの自動微分と応用 (現代非線形科学シリーズ)

アルゴリズムの自動微分と応用 (現代非線形科学シリーズ)

こんだけやっとけばDLfS本で計算グラフの説明を受けてもある程度は理解できるだろう。。