ishiducaの日記

■ [画像収集][Webスクレイピング]Web::Scraperをもう少し 19:17

以前ワンライナーで書いた画像収集のコード（オトギリさんのホームページから画像収集）、があるけど、Web::Scraperを使ってやってみる。

ただ、これは別のサイト（というか、ブログ）だけど。

FC2のサイトだと mainEntryBodyクラス内の a タグでひっぱてくればいいので、こんな感じで。

get_img_from_fc2pl

#!/usr/bin/perl
use strict;
use warnings;
use Web::Scraper;
use URI;
use LWP::Simple;
use File::Basename;

@ARGV or die "Usage: $0 uri [...]\n";

# FC2 のサイト用
my $scraper = scraper {
    process ".mainEntryBody a", "link[]" => '@href';
};

foreach my $uri (@ARGV) {
    my $res = $scraper->scrape(URI->new($uri));
    print "$_\n" and mirror($_, basename($_))
        foreach (grep{ /^http:\/\/(.+?)$/i }(@{$res->{link}}));
    print "\n";
}

exit 0;