end0tknr's kipple - web写経開発

太宰府天満宮の狛犬って、妙にカワイイ

Scrappy - Powerful Web Spidering, Scraping, Creeping Crawling Framework

http://search.cpan.org/perldoc?Scrappy

webに対してクローラースクレイピング等々、いろんなことができるようです。
スクレイピングってWeb::Scraperみたいなんて思っていたら、Web::Scraperは、Dependencies に含まれていました。(そりゃそうかも知れません)

余りにいろいろできるので、ここで解説するより、Scrappyのドキュメントを読んでもらった方が良いと思います。

同様のアプリにpythonで実装された http://scrapy.org/ もあるようです。