Scrapyの学習ノート

Scrapyを利用して開発する機会がありまして、いろいろ調べた内容の参考先(URL)をまとめました。

Scrapyの概要の理解

Scrapy公式サイトのTutorialに従って実装・テストしてみて、ある程度仕組みがつかみました。

Tutorialをもうちょっと深く理解するためには、以下のページでScrapyの仕組み、特にデーターの流れを目に通すと理解いしやすくなりました。

The data flow in Scrapy

ソースコードを理解するためには、以下の記事が役に立ちました。

Spider

以下はよく利用するSpider関連コマンドです。

$ scrapy genspider [options] <name> <domain> # Spiderクラスの生成コマンド
$ scrapy crawl <name> # Spiderの起動コマンド