Ubuntuのパッケージ更新を行うと、、fatal-errorが発生 ubuntu:~$ sudo apt-get upgrade Reading package lists... Done Building dependency tree Reading state information... Done Calculating upgrade... Done The following packages have been kept b…

ついにというかやっというか、、tensorflowを動かしてみることにした*1。自宅PCはWindows10で、VMware Playerを入れてその中でUbuntuを走らせています。tensorflowは素で入れず仮想化環境等の専用環境(isolated pythonとか？)で入れるべしということらしいの…

普段はKindle無料コミックを読んでいるのだが、累計で２０００冊近くになっているようだ。一体どんなタイトルを読んできたのか、リストアップしたいと思った。普通に考えると購入履歴から取ってくればいいのでは？となるが、２０００冊近くになると一覧でも…

そもそもスレイピングなる行為がかなりまずいことなのかどうか。。 秒間数百発以上アクセスするのはサーバに負荷かけるからまずいだろうけど。。ゆるゆるとWebサイトにプログラムからアクセスして情報を集めるのがかなりまずい行為なのかどうか。。アクセス…

ここ数日、燃えてプログラミングしていた、Kindle無料コミック検索サイトだが、Amazonサイトの検索メニューを正しく設定することで、当初自分が必要としてる情報は得られることが分かった。だから、、、Amazonが提供する機能を正しく使えば、自分で作る必要…

例のKindle無料検索サイトを作成していて、APIで取ってこれる情報は一条件につき１０ページまでとなっている。だから、、商品番号(ASIN)は最大１００件までしか収集できない（もちろん検索条件を変えればいいのだけど、、無料Kindleコミックの情報をAPIで取…

GoogleAppEngine上に無料Kindleコミックを出版日順（新しいもの順）で表示できるWebアプリを実装した。また、無料本一覧の表示が遅くならないように、一度検索した結果はDB(DataStore)に格納して、一覧表示はDBから引っ張るようにした（一覧表示は早いが、最…

BigTableは使い始めるとすぐ課金されるので、無料枠設定のあるGoogle Cloud Datastoreを使うのがよさそうだ。https://cloudplatform-jp.googleblog.com/2015/08/google-cloud-datastore.htmlGoogleAppEngineからDataStoreにアクセスする事例。下記サンプルコ…

昔はそれほどストレスなく使えていたGAEだが、しばらく使っていないうちにサービスも大きく変わって、腕も鈍って、結構大変だった。が、、なんとかAmazon APIを叩いて、無料KindleコミックをRESTで取ってきて、それを整形して表示するシステムを組んだ。 い…

例のKindle無料コミック検索サービスを作ろうと思ってGoogleAppEngineに行ってみたら、Google Cloud Platformになっていて、インスタンス何とかで、よく言えば管理画面から統一的な操作でPaaSとIaaSが使い分けられるようなのだが、、今まで無料でPaaS使って…

BigDataの手法を使って価値のある情報を得るには、望む情報を内在する大量データが必要。そして、抽出したい情報の仕様も必要。さらに、、分析前の大量データが結果を出すのに相応しいのか、また、分析手法が妥当か？も課題である。 国内統計データとか政府…

とある理由でopenFrameworksを使ってみる機会があって、openFrameworksはC++で書かれていて、C++を書く機会ができてしまった。最低限の理解範囲でopenFrameworksを動かすためのへなちょこなコードは書けるけど、C++をある程度は理解した上でopenFrameworksを…

京阪のパンフレットに琵琶湖疎水を歩く案内があって、家に持って帰ったらヨメサンが歩きたいと言ったので家族で行ってみた（行楽に行くかどうするかはヨメハン次第なので）。 疎水は大津から京都に流れるので、川の流れに沿って、大津から京都（蹴上）まで歩…

会社の知人から「最近ケーキ焼いてますの？」と聞かれて、「ほんじゃ持ってくる」と約束したので、チョコケーキを焼いてみた。レシピはNHKのまる得マガジンで放映されていた、小山進シェフのレシピによるもの（自分の都合で少し変更*1）。 チョコレート 23g …

RNNを理解するため、Andrej Karpathy氏によるコンパクトなサンプルプログラム(min-char-rnn.py)を自分なりに分かりやすいように改修した。具体的には、RNN用のクラスを設けて、WeightやBiasをクラスの変数（インスタンス変数）に押し込めて、forward,backwor…

アマチュア無線３級を取ったけど、ずっとウオッチしかしていなかった。さらに、CW通信を目標にしていて、CWは非常に難しく、無線交信を始める壁がさらに厚くなっていた。そんな折、知り合い*1から「無線免許取ったので交信しよう」と声を掛けられた。普段リ…

RNNはいろんな記事で紹介されているけど、時間経過をネットワークで表現した図と、ネットワークの構造（時間が止まっている時の構造）が混乱してしまって、良くわからない。一番シンプルな構造でまずは理解するのが良かろうと思われ、非常に短いサンプルソー…

ディープラーニングと呼ばれるNNは一般的にFeed Forward Neural Networkと呼ばれるもので、過去のNNの状態を計算には加えず、入力に対して出力が算出されるもの。一方、文書理解とか音声認識は、Recurrent Neural Network(RNN)と呼ばれる、過去のNNの状態と…

バックプロパゲーションを実装して、MNISTデータを使って5000回学習させた結果、lossが0.440で、accuracyが0.89(正解率89%)に到達。なお、正解率は学習の都度、上下変動しており、調子がいい場合は92%ぐらいまで上がる。従来の数値的微分による学習の場合、…

前回ロールケーキを焼いた時、生地がベコベコになったので、今回は焼き型を買った。それを使って焼いてみた。検証目的なら前回と同じ配合で焼くべきだけど、焼き型に新しいレシピが付いてきたのでそれに倣って作ってみた。 全卵３ 砂糖 70g 小麦粉 100g はち…

「ゼロから作るDeep Learning」(DLfS本)を読んで、算術的微分で実装して一定の学習効果を確認したので、次はバックプロパゲーションの理解にとりかかった。 バックプロパゲーションを理解するのに、DLfS本では計算グラフを取り上げ、計算を演算子のノードと…