Hatena::Groupperl

satoshipのPerl日記

2007-10-26

Web::Scraperコマンドラインで使ってみた 22:48 はてなブックマーク - Web::Scraperをコマンドラインで使ってみた - satoshipのPerl日記

インストール

$ sudo cpan -i Web::Scraper

http://twitter.com/タイムラインの発言を取得してみる

$ scraper http://twitter.com/

シェルが起動する。


scraper> process 'td.content > span.entry-content', 'entries[]' => 'TEXT';

スクレイプした。


scraper> d
$VAR1 = {
  'entries' => [
    'entry1',
    'entry2',
    'entry3',
    'entry4',
    'entry5',
    'entry6',
    'entry7',
    'entry8',
    'entry9'
  ]
};

こんな感じで確認できる。


scraper> c
#!/usr/bin/perl
use strict;
use Web::Scraper;
use URI;

my $uri = URI->new("http://twitter.com/");
my $scraper = scraper {
    process 'td.content > span.entry-content', 'entries[]' => 'TEXT';
};
my $result = $scraper->scrape($uri);

コードが表示される。

おもしろい

参照

今日学んだこと 22:23 はてなブックマーク - 今日学んだこと - satoshipのPerl日記

Perlベストプラクティス」から