chakokuのブログ(rev4)

テック・コミック・DTM・・・ごくまれにチャリ

クローリング・スクレイピングの覚書

そもそもスレイピングなる行為がかなりまずいことなのかどうか。。
秒間数百発以上アクセスするのはサーバに負荷かけるからまずいだろうけど。。ゆるゆるとWebサイトにプログラムからアクセスして情報を集めるのがかなりまずい行為なのかどうか。。アクセス先の使用条件に違反するという点ですでに黒なのか。。

PythonによるWebスクレイピング

PythonによるWebスクレイピング

http://ghostproxies.com/blog/2015/09/7-things-to-know-before-scraping-amazon-product-results/
7 Things to Know Before Scraping Amazon Product Results

https://blog.hartleybrody.com/scrape-amazon/
How to Scrape Amazon.com: 19 Lessons I Learned While Crawling 1MM+ Product Listings

■ご参考
Amazon.co.jp利用規約より引用
https://www.amazon.co.jp/gp/help/customer/display.html?nodeId=201909000
利用許可およびサイトへのアクセス


本規約の遵守および該当する価格の支払いを条件とし、アマゾンまたはコンテンツ提供者は、
アマゾンサービスを限定的、非独占的、非商業的および個人的に利用する権利をお客様に許諾
します(譲渡およびサブライセンス不可)。この利用許可には、アマゾンサービスまたはその
コンテンツの転売および商業目的での利用、製品リスト、解説、価格などの収集と利用、
アマゾンサービスまたはそのコンテンツの二次的利用、他社のために行うアカウント情報の
ダウンロードとコピー、データマイニング、ロボットなどのデータ収集・抽出ツールの使用は、
一切含まれません。本規約またはその他の規約にて明示的に許諾されていない権利は全て
アマゾンまたはそのライセンサー、供給者、出版者、権利保持者またはその他のコンテンツ権利者が
留保します。アマゾンサービスまたはそのいかなる部分も、アマゾンからの書面による明示的な承諾を
得ていない限り、商業目的のために、複製、複写、コピー、販売、再販、アクセス、その他の利用は
できません。商標、ロゴ、およびアマゾンが有するその他の財産権的価値のある情報(画像、文字、
ページレイアウト、フォームを含む)は、書面による明示的な承諾を得ていない限り、フレームにした
り、またはフレーム技術を使って取り込んだりすることはできません。アマゾンサービスを不正に
利用することは禁止されており、適用される法律に従ってのみ利用できます。本規約およびその他の
利用規約に反する使用をした場合、アマゾンが使用許諾した権利は終了します。