Scrapyを利用して開発する機会がありまして、いろいろ調べた内容の参考先(URL)をまとめました。
Scrapyの概要の理解
Scrapy公式サイトのTutorialに従って実装・テストしてみて、ある程度仕組みがつかみました。
Tutorialをもうちょっと深く理解するためには、以下のページでScrapyの仕組み、特にデーターの流れを目に通すと理解いしやすくなりました。
ソースコードを理解するためには、以下の記事が役に立ちました。
Spider
以下はよく利用するSpider関連コマンドです。
$ scrapy genspider [options] <name> <domain> # Spiderクラスの生成コマンド
$ scrapy crawl <name> # Spiderの起動コマンド