ishiducaの日記 このページをアンテナに追加 RSSフィード

2010-04-12

[][]pixivのお気に入りさんの画像を一括ダウンロードする 11:50 pixivのお気に入りさんの画像を一括ダウンロードする - ishiducaの日記 を含むブックマーク はてなブックマーク - pixivのお気に入りさんの画像を一括ダウンロードする - ishiducaの日記 pixivのお気に入りさんの画像を一括ダウンロードする - ishiducaの日記 のブックマークコメント

2010.08.16【追記】なんかはてブされているようなので、コードを修正しました。pixivのデザイン変更があったのでそれに合わせてスクレイピングのxpathを書き直してる

同じようなスクレイピングが続きます。すみません。

さて、気になったユーザーさんの画像を一括でダウンロードします(pixiv2pl)。

WWW::Mechanizeでコンテンツを保存するのに save_content( filename ) を使ってみました。他には目新しいことしてません。すみません。

ユーザーさんの指定は、ユーザーさんのプロフィールページで確認してください。こんな感じで表示されます。

http://www.pixiv.net/member.php?id=number

numberの部分、実際には4とか5桁の数字で、この数字を使います。

$ perl pixiv2pl 1234

というふうに。

pixiv2pl

#!/usr/bin/perl
use strict;
use warnings;
use WWW::Mechanize;
use Web::Scraper;
use File::Basename;

# 引数にダウンロードするお気に入りさんのID番号を指定します
$ARGV[0] or die "Usage: $0 id_numer\n";
# $ARGV[0] =~ /^[0-9]{4,5}$/
#     or die qq(Warn: Please specify "id_number" by the figure of four digits.\n);
my $id = $ARGV[0];

my $home = 'http://www.pixiv.net/';
my $mech = new WWW::Mechanize( autocheck => 1 );
$mech->get($home);

# my_userid, my_password は自分のを使ってね
$mech->submit_form(
    form_number => 2,
    fields => {
        'mode'     => 'login',
        'pixiv_id' => 'my_userid',
        'pass'     => 'my_password',
    },
);

my $scraper0 = scraper {
    process '//div[@class="two_column_body"]/div[3]/ul[1]/li', 'li[]' => scraper {
        process "a",   'link'    => '@href';
    };
};

my $scraper1 = scraper {
    process '//div[@class="works_display"]/a[1]', "content2" => '@href';
};

my $scraper2 = scraper {
    process '//img[1]', 'img' => '@src';
};

my $c = 1;
while( $mech->get("${home}member_illust.php?id=$id&p=$c") ) {
    my $res = $scraper0->scrape($mech->content);
    for my $li (@{$res->{li}}) {
      # "見つかりませんでした" がでたら終りにする
        $li->{link} or print "Finish!\n" and exit 0;

        $mech->get("${home}$li->{link}");
        my $res = $scraper1->scrape($mech->content);
        $mech->get("${home}$res->{content2}");
        $res = $scraper2->scrape($mech->content);
        $mech->get($res->{img});

      # コンテンツそのものをダウンロードするのに save_content() メソッドを使ってみた
        $mech->save_content( basename($res->{img}) );
        print "save as ", basename($res->{img}), "\n";
    }
    $c++;
}

exit 0;

ScreamingScreaming2013/02/01 23:12That's an expert answer to an inetrsetnig question

MarniMarni2013/02/02 03:32That's going to make things a lot esaeir from here on out.

whswunwhswun2013/02/02 18:35OC6lYI <a href="http://yrozbekqtrfg.com/">yrozbekqtrfg</a>

gltcaqhvvwogltcaqhvvwo2013/02/04 01:40LFYNtp , [url=http://crisujbatyyi.com/]crisujbatyyi[/url], [link=http://xyerhjckbked.com/]xyerhjckbked[/link], http://ocmvfcnvcymm.com/

xzpgskbxzpgskb2013/02/04 12:10t5mHqX <a href="http://czcagiyagdep.com/">czcagiyagdep</a>

MytishiJagmaMytishiJagma2018/02/08 21:45Благодаря чистовой отделке люди создают вокруг себя обстановку, в которой бы они чувствовали себя максимально комфортно. <a href=https://xn--80aieocueqr8g.xn--p1ai>купить 2 комнатную квартиру в мытищах</a> владимир васильевич щербицкий принадлежал к числу любимцев брежнева. <a href=https://xn--80aieocueqr8g.xn--p1ai>жк отрадный цена</a>

VenessakatVenessakat2018/02/20 06:48play casinos
<a href=http://casinoline17.com/>casino games</a>
<a href="http://casinoline17.com/">slot game</a>
casino online free

TyallerDryncTyallerDrync2018/03/16 14:12В нашей интернет аптеке вы сможете заказать софосбувир и даклатасвир по низкой стоимости

<a href=https://sofosbuvir-express24.ru/lekarstvo-ot-raka/541/>зелбораф цена</a>
<a href=https://sofosbuvir-express24.ru/lekarstvo-ot-raka/552/>капрелса вандетаниб</a>


<a href=https://sofosbuvir-express24.ru/lekarstvo-ot-raka/551/>lynparza olaparib</a>
<a href=https://sofosbuvir-express24.ru/lekarstvo-ot-raka/552/>caprelsa капрелса вандетаниб vandetanib</a>

MarthaUniptMarthaUnipt2018/03/22 08:23online loans
<a href=https://smajloans.com/>payday loans online</a>
<a href="https://smajloans.com/">payday loans no credit check</a>
payday loans no credit check

ReneeJaxReneeJax2018/03/22 22:49casinos online
<a href=http://casinogameslistonline.com/>online casino gambling</a>
<a href="http://casinogameslistonline.com/">online casino games</a>
slot online

VaughnReitaVaughnReita2018/03/24 03:42Готовые гарнитуры для детской комнаты представляют собой универсальный уголок, в котором есть буквально все необходимое для полноценного развития ребенка, подробнее об этом читайте на сайте <a href=http://teletap.org>teletap.org</a>

HerbertReessHerbertReess2018/03/25 19:20Последние новости андроид здесь <a href=http://hi-android.net/>hi-android.net</a>

WayneeronyWayneerony2018/03/27 08:41Считается, что повышенный уровень глюкозы в крови является главной причиной развития диабета 2-го типа. Однако немецкие ученые доказали: резистентность клеток к инсулину может быть вызвана увеличением концентрации в крови метилглиоксаля (MG) - метаболита глюкозы. Подробнее читайте на сайте <a href=http://dom-lady.ru>dom-lady.ru</a>

MichaelTrisyMichaelTrisy2018/04/02 02:15На рынке спальных принадлежностей особое место занимают подушки и одеяла с натуральными наполнителями, в частности, подушки из овечьей шерсти. Этот природный материал еще с библейских времен используется человеком для изготовления одежды, бытовых и постельных принадлежностей. Читайте об этом подробнее на сайте <a href=http://dettka.com>dettka.com</a>

RonnierhyncRonnierhync2018/04/02 18:40В настоящее время покупатели проявили большой интерес к новинке – живым цветам в стекле. Они прекрасно смотрятся на столе, на тумбочке, по внешнему виду ничем не отличаясь от обычных живых цветов, подробнее об этом читайте на сайте <a href=http://tvoi-noski.ru>tvoi-noski.ru</a>

JerryDagJerryDag2018/04/05 13:03Стоматологическая помощь заключается в том, чтобы обеспечить пациенту сохранность и лечение зубов. Но когда это необходимо, то зубы приходится удалять, подробнее читайте на сайте <a href=http://shoptrip.ru>shoptrip.ru</a>

GarryDomGarryDom2018/04/08 06:30Современные жилые дома стали намного полезнее и красивее, благодаря застекленным балконам. В настоящее время вместо пластиковых рам можно использовать алюминиевые профили. Подробнее читайте на сайте <a href=http://montazhnik02.ru>montazhnik02.ru</a>

DavidvubDavidvub2018/04/09 10:15Самые свежие женские новости тут <a href=http://babybynature.ru/>babybynature.ru</a>

DustinChabyDustinChaby2018/04/11 09:50Взбить творог блендером, добавить 100 грамм сметаны. Должна получиться гладкая смесь без комков. Читайте об этом подробнее на сайте <a href=http://zonakulinara.ru>zonakulinara.ru</a>

WayneDuhWayneDuh2018/04/11 15:56Главной причиной возникновения и развития пульпита является воспаление соединительной волокнистой ткани, находящейся внутри зуба. Эту ткань стоматологи называют пульпой, отсюда и название заболевания – пульпит, подробнее об этом читайте на сайте <a href=http://medinfon.ru>medinfon.ru</a>

RobertrerRobertrer2018/04/12 12:09Новости кулинарного мира тут <a href=http://fitelife.ru/>fitelife.ru</a>

RamonaStusaRamonaStusa2018/04/12 16:14online casino games
<a href=http://casino24list.com/>kasino</a>
<a href="http://casino24list.com/">online casino slots</a>
slot game

ThomasnerThomasner2018/04/13 07:49Последние компьютерные новости здесь <a href=http://devays.ru/>devays.ru</a>

VincentcigVincentcig2018/04/13 08:40Последние строительные советы здесь [url=http://495realty.ru/]495realty.ru[/url]

PatricksaxPatricksax2018/04/16 05:48Последние женские новости здесь <a href=http://french-foto.ru/>french-foto.ru</a>

AaronclewsAaronclews2018/04/16 10:27Отличные строительные советы здесь <a href=http://akvakraska.ru/>akvakraska.ru</a>

StanleySesStanleySes2018/04/17 01:09Для того, чтобы провести отпуск в Греции, следует получить соответствующую документацию, подробнее читайте на сайте <a href=http://gturs.com>gturs.com</a>

MattieSahMattieSah2018/04/17 16:27online casino
<a href=http://casino24list.com/>casino games real money</a>
<a href="http://casino24list.com/">online casino real money</a>
slot game

JamesTofJamesTof2018/04/19 14:14Последние модные стрижки здесь <a href=http://chyolka.ru/>chyolka.ru</a>

MichaelEcoloMichaelEcolo2018/04/20 03:32Новости медицины тут <a href=http://griskomed.ru/>griskomed.ru</a>

JefferyDixJefferyDix2018/04/20 12:06Приветствую! Класный у вас сайт!
Что скажете по поводу этих новостей?:
http://techrize.ru/news/6739-sputnikovaya-razvedka-puska-buka-ne-bylo.html <b> Спутниковая разведка: Пуска "Бука" не было </b>
http://techrize.ru/news/1370-srednee-obrazovanie-v-rossii-stanet-platnym-s-2013-goda.html
http://techrize.ru/news/3282-mp-schitaet-povyshenie-vodnogo-naloga-neobhodimym.html
Ещё много интересного по теме нашел тут: <b> территория под контролем лнр </b> <a href=http://techrize.ru/> днр новости сегодня онлайн </a>

Pisaruk143Pisaruk1432018/04/21 04:12смотреть фильм бесплатно в хорошем качестве полностью <a href=http://kinoset.online>смотреть фильмы в hd</a>

ArchiebobArchiebob2018/04/23 00:23Подарок руководителю, крупному бизнесмену, серьезному и ответственному человеку зрелого возраста должен быть солидным, запоминающимся, весомым, и недешевым, однозначно. Подробнее об этом читайте на сайте <a href=http://fi-hi.ru>fi-hi.ru</a>

JustinTUpJustinTUp2018/04/25 01:31Конкуренцию стандартным петельным межкомнатным открывающимся конструкциям составляют более функциональные решения – сдвижные двери. Они так же включают в себя полотна из древесины или иного материала, вот только главные элементы блока движутся по прямым линиям (направляющим) параллельно стене. Читайте об этом подробнее на сайте <a href=http://akro-spb.ru>akro-spb.ru</a>

KevinkixKevinkix2018/04/26 12:05Привет!
Нашел познавательную подборку на этом сайте: http://anubi.ru :
http://anubi.ru/foto-prikoly-interesnoe/4369-progulka-po-serdcu-zalcburga.html <b> Прогулка по «сердцу» Зальцбурга </b>
http://anubi.ru/foto-prikoly-interesnoe/1846-more-krasnyh-makov-v-londonskom-tauere.html <b> Море красных маков в лондонском Тауэре </b>
http://anubi.ru/foto-prikoly-interesnoe/6430-izumitelnaya-krasota-kitaya-bez-turistov.html

MorrisSibMorrisSib2018/04/26 13:20Привет всем участникам! Класный у вас сайт!
Нашёл инфу в сети:
http://firstnewz.ru/information-technology-it/20930-mmo-ekshen-crossout-vyshel-v-rannem-dostupe-v-steam.html <b> MMO-экшен Crossout вышел в раннем доступе в Steam </b>
http://firstnewz.ru/news/9752-semenchenko-rano-ili-pozdno-my-smozhem-dostavat-terroristov-v-lyuboy-tochke-zemnogo-shara.html
http://firstnewz.ru/news/13953-kitay-kupil-u-rossii-24-istrebitelya-su-35.html
<b> комендант лнр грачев http://firstnewz.ru/

RolandapastRolandapast2018/05/03 09:59Архитектурное проектирование объектов различных типов сооружений — это важнейший этап, значительный и ответственный в строительном процессе, подробнее читайте на сайте <a href=http://roofor.ru>roofor.ru</a>

JamesPumJamesPum2018/05/03 19:42Привет!
Нашел приколы за день на этом сайте: http://agentorange.ru :
http://agentorange.ru/art-foto-interesnoe/5033-otel-dlya-mertvyh-v-yaponii.html <b> Отель для мертвых в Японии </b>
http://agentorange.ru/art-foto-interesnoe/575-zasuha-v-kalifornii.html <b> Засуха в Калифорнии </b>
http://agentorange.ru/art-foto-interesnoe/5779-parizhskaya-podzemka.html

DennisCaumbDennisCaumb2018/05/05 17:14Состояние окружающей нас среды во многом зависит от правильного использования природных ресурсов, которые даются человеку. Это касается и строительной деятельности. Подробнее об этом читайте на сайте <a href=http://beton-cement-ru.ru>beton-cement-ru.ru</a>

WalterlakWalterlak2018/05/05 21:15Последние строительные новости здесь <a href=https://dipris-studio.ru/>dipris-studio.ru</a>

OliverdropsOliverdrops2018/05/06 01:01Последние андроид новости здесь <a href=http://androidusers.ru/>androidusers.ru</a>

MichaelSadlyMichaelSadly2018/05/06 03:23Самые свежие новости Астрахани. Читайте об этом подробнее на сайте <a href=https://astrakhan.net>astrakhan.net</a>

AlfredKipAlfredKip2018/05/06 07:34Прежде всего, ознакомьтесь с документами. У застройщика должна быть лицензия на ведение строительных работ, разрешение на строительство данного объекта и документы на ввод интересующего вас дома в эксплуатацию. Подробнее читайте на сайте <a href=http://sovet-sadovody.ru>sovet-sadovody.ru</a>

WilliamhogWilliamhog2018/05/06 10:16viagra without insurance <a href=http://viagrawithoutdocpresc.accountant/#9645>viagra without a doctor</a> viagra without a doctor prescription online pharmacies

CharlesbootoCharlesbooto2018/05/12 19:16Модные женские советы здесь <a href=http://dicask.ru/>dicask.ru</a>

JimmyEnumeJimmyEnume2018/05/13 02:45Последние автомобильные новости здесь <a href=http://drivim.ru/>drivim.ru</a>

ChesterHotChesterHot2018/05/13 08:03Новости строительного мира тут <a href=http://lakkk.com/>lakkk.com</a>

JasonEroffJasonEroff2018/05/13 09:32Последние женские секретики здесь <a href=http://www.foto-volos.ru/>www.foto-volos.ru</a>

ClaudeborceClaudeborce2018/05/13 16:42Последние новости строительства здесь <a href=http://distroy.ru/>distroy.ru</a>

BillyFalBillyFal2018/05/14 02:15Новости компьютерного мира тут <a href=http://rebenokboleet.ru/>rebenokboleet.ru</a>

JasonDobJasonDob2018/05/14 02:40Последние новости здесь <a href=http://kfaktiv.ru/>kfaktiv.ru</a>

MartinPhakeMartinPhake2018/05/14 05:41Последние новости политики здесь <a href=http://vash-deputat.ru/>vash-deputat.ru</a>

JeffreypearyJeffreypeary2018/05/15 15:20Все знают, что натуральные природные материалы имеют массу преимуществ, среди которых экологичность, невероятный дизайн, прочность и долговечность, подробнее читайте на сайте <a href=http://dumainfo.ru>dumainfo.ru</a>

BillynapBillynap2018/05/15 20:19Новости народной медицины здесь <a href=http://medata.org/>medata.org</a>

MarvinLexMarvinLex2018/05/16 01:05Последние новости шопинга здесь <a href=http://tvoirazmer.ru/>tvoirazmer.ru</a>

DennisCitDennisCit2018/05/16 03:38Если вы хотите выучить иностранный язык в совершенстве, начинайте в самом раннем детстве. Ученые определили возрастной порог, до которого это сделать проще, передает BBC. Читайте об этом подробнее на сайте <a href=http://s-narodom.ru>s-narodom.ru</a>

JefferygUsJefferygUs2018/05/17 07:26Последнии новости армении читайте на сайте <a href=http://hayastannews.com>hayastannews.com</a>

RichardcoxRichardcox2018/05/19 00:29Последние мировые новости здесь <a href=http://www.planetoday.ru/>www.planetoday.ru</a>

ThomascexThomascex2018/05/19 05:01Привет всем участникам! Класный у вас сайт!
Что думаете по этим новостям?:
http://mybioplanet.ru/politika/23301-kandidat-na-post-gossekretarya-ssha-otchital-zhurnalistku-za-predvzyatost-k-rossii.html <b> Кандидат на пост Госсекретаря США отчитал журналистку за предвзятость к России </b>
http://mybioplanet.ru/news/20608-v-odesse-otkryvaetsya-verbovochnyy-centr-vms-vsu.html
http://mybioplanet.ru/information-technology-it/21334-poiskovyy-otryad-liza-alert-zapustil-mobilnoe-prilozhenie.html
Ещё много интересного по теме нашел тут: <b> как наказывают девушек в лнр </b> http://mybioplanet.ru/

RobertCabRobertCab2018/05/19 13:27Приветствую всех!
Нашел прикольные фотки на этом сайте: http://agentmdk.ru :
http://agentmdk.ru/foto-prikoly-interesnoe/6802-zhenschina-na-puti-geniya-kak-statistka-iz-rossii-zabrala-u-muzyki-imre-kalmana.html <b> Женщина на пути гения: как статистка из России забрала у музыки Имре Кальмана </b>
http://agentmdk.ru/foto-prikoly-interesnoe/7105-dom-trenazher-v-yaponii.html <b> Дом-тренажер в Японии </b>
http://agentmdk.ru/foto-prikoly-interesnoe/1281-gorilly-ne-podelili-pomidorchik.html

DerekmowDerekmow2018/05/22 11:53Последние новости мира тут <a href=http://novorossia-news.com/>novorossia-news.com</a>

TimothyadmipTimothyadmip2018/05/24 00:33Последние новости Томской области здесь <a href=http://tom3.ru/>tom3.ru</a>

RafaelflienRafaelflien2018/05/24 10:11Популярные женские новости тут <a href=http://laform.ru/>laform.ru</a>

CharlesengefCharlesengef2018/05/24 14:11Последние новости Армении здесь <a href=http://lratvakan.com/>lratvakan.com</a>

DavidCakDavidCak2018/05/26 07:55Автомобильные новости здесь <a href=http://drive-land.net/>drive-land.net</a>

GeraldnawGeraldnaw2018/05/29 06:18Строительные советы здесь <a href=http://www.overbag.ru/>www.overbag.ru</a>

ChesterFefChesterFef2018/05/31 01:20Достаточно непростой задачей поисковой оптимизации является продвижение корпоративного сайта. Качественное продвижение в Яндексе или Гугле поможет повысить посещаемость корпоративного сайта. Подробнее читайте на сайте <a href=http://gdefile.ru>gdefile.ru</a>

KelvinToxKelvinTox2018/06/15 21:45Здравствуйте! Класный у вас сайт!
Нашёл познавательное для дачных участков и не только: <b> <a href=http://www.ekolestnica.ru/>поручень из дуба для лестницы</a>
Тут: https://www.ekolestnica.ru/dveri-sevastopol.html двери массив купить в севастополе
Тут: <a href=https://www.ekolestnica.ru/balyasiny-v-sankt-peterburge.html> балясины деревянные купить в спб </a> балясины деревянные купить в спб
Тут: https://www.ekolestnica.ru/mebelnyj-shhit-v-smolenske.html

MarvinzoormMarvinzoorm2018/07/03 10:37Приветствую!
Нашел познавательную информацию на этом сайте: http://hellbro.ru :
http://hellbro.ru/foto-prikoly-interesnoe/4725-dostoprimechatelnosti-mira-c-vysoty.html <b> Достопримечательности мира c высоты </b>
<a href=http://hellbro.ru/foto-prikoly-interesnoe/413-kubinskie-panki.html> Кубинские панки </a>
http://hellbro.ru/foto-prikoly-interesnoe/3052-anna-kendrik-v-the-edit-from-net-a-porter.html

MatthewRopMatthewRop2018/07/03 18:20Привет всем участникам форума! Класный у вас сайт!
Что скажете по поводу этих новостей?: http://electek.ru/news/13594-ef-dva-dva-i-drugie.html <b> Эф-два-два и другие </b>
<a href=http://electek.ru/news/6663-vivisekciya.html> Вивисекция </a>
http://electek.ru/news/28047-polyaka-postavili-rulit-ukrainskimi-gazoprovodami-chtoby-ih-zakryt.html
Ещё много интересного по теме нашел тут: <b> видео с новороссии без цензуры http://electek.ru/

KennethDipKennethDip2018/07/03 21:52Здравствуйте! Класный у вас сайт!
Что скажете по поводу этих новостей?: http://inosmip.ru/news/1478-groznyy-siti-mogli-podzhech.html <b> «Грозный-Сити» могли поджечь </b>
<a href=http://inosmip.ru/news/932-prezident-rossii-dmitriy-medvedev-planiruet-vvesti-otvetstvennost-provayderov-za-narushenie-intellektualnyh-prav-polzovatelyami-interneta.html> Президент России Дмитрий Медведев планирует ввести ответственность провайдеров за нарушение «интеллектуальных прав» пользователями Интернета </a>
http://inosmip.ru/news/9796-pashinskiy-traty-na-armiyu-ne-sootvetstvuyut-vneblokovomu-statusu-ukrainy.html
Ещё много всего по теме нашел тут: <b> донбасс донецк сегодня </b> <a href=http://inosmip.ru/> символика батальона донбасс </a>

RobertSkypeRobertSkype2018/07/13 23:34Привет всем!
Нашел удивительную фотоподборку на этом сайте: http://agentorange.ru :
http://agentorange.ru/art-foto-interesnoe/5573-utopiya-po-afrikanski-efiopskaya-derevnya-gde-feminizm-yavlyaetsya-zakonom.html <b> Утопия по-африкански: Эфиопская деревня, где феминизм является законом </b>
http://agentorange.ru/art-foto-interesnoe/6357-ohrana-sokrovisch.html <b> Охрана сокровищ </b>
http://agentorange.ru/art-foto-interesnoe/3869-spisok-kinocitat-posle-kotoryh-zahochetsya-peresmotret-lyubimye-filmy.html

HenryidefsHenryidefs2018/07/31 09:11Здравствуйте! Класный у вас сайт!
Нашёл инфу в сети:
http://enewz.ru/news/14963-bileckiy-azov-gotov-voevat-v-sirii-protiv-russkih.html <b> Билецкий: «Азов» готов воевать в Сирии против русских </b>
http://enewz.ru/news/4514-minoborony-rf-zakupilo-12-yak-130-dlya-novoy-pilotazhnoy-gruppy.html
http://enewz.ru/news/697-proektirovanie-uspeha.html
Ещё много интересного по теме нашел тут: <b> </b> http://enewz.ru/

RaymondDetRaymondDet2018/08/26 07:09Мода меняется и ее нововведения порой вынуждают женщин совершать опрометчивые поступки, например, осветлять брови. Только зачем это нужно делать, многие до сих пор не понимают. Читайте об этом подробнее на сайте <a href=http://echudo.ru>http://echudo.ru</a>

WilliamsniteWilliamsnite2018/08/30 09:12Ученые из Аризонского университета и Норвежского университета наук о жизни исследовали бактерии, обитающие в кишечнике медоносных пчел., подробнее об этом читайте на сайте <a href=http://dom-lady.ru>dom-lady.ru</a>

WhalypeWhalype2018/09/04 03:17У нас проектирует, производит Автономнау канализацию.

В Сервисе имеется к продаже ЁМКОСТНОЕ И РЕЗЕРВУАРНОЕ ОБОРУДОВАНИЕ, Резервуары — отстойники, Мешалка на заказ, Ленточный фильтр-пресс, Технические колодцы, Дренажный блок инфильтрационный (БИЗ), Гидроэлеватор, ОДЪЕМНЫЕ УСТРОЙСТВА И МЕТАЛЛОКОНСТРУКЦИИ Шнеки из конструкционной и нержавеющей стали, ВОДООЧИСТНОЕ ОБОРУДОВАНИЕ Флокуляторы, ПОДЪЕМНЫЕ УСТРОЙСТВА И МЕТАЛЛОКОНСТРУКЦИИ Шнеки из конструкционной и нержавеющей стали, ОЧИСТКА ЛИВНЕВЫХ СТОЧНЫХ ВОД КПН (комбинированный песко-нефтеуловитель), НАСОСНОЕ И КОМПРЕССОРНОЕ ОБОРУДОВАНИЕ (Грунфос, КСБ, Вило, КИТ, Взлёт, ТВП) Станции повышения давление, ВОДОПОДГОТОВКУ Угольный сорбент, а также все для автомойки Автомойки на базе флотации.

У нас вы найдете Обслуживание очистных сооружений, а также Канализационные трубы, мы можем произвести Насосы для скважин. Бурение скважин на воду, Поиск полезных ископаемых, Ремонт систем водоснабжения.

Очистка емкостного оборудования - <a href=https://woobe.ru> телеинспекция скважин</a>

sanatorium.comsanatorium.com2018/09/08 05:08<img src="http://images.nymag.com/news/features/sextube110207_1_560.jpg">

Free porno online <a href=https://sanatorium.com/ru/litva/birstonas/egle-comfort>smotret porno</a> Casino online <a href=https://sanatorium.com/ru/vengria/budapest/danubius-grand-hotel-margitsziget>smotret porno</a> Free porno online <a href=https://sanatorium.com/ru/vengria/budapest/danubius-health-spa-resort-margitsziget>smotret porno</a> sanatorium.com

JacoboxyncJacoboxync2018/09/19 08:31Привет всем!
Нашел познавательную подборку на этом сайте: http://anubi.ru :
http://anubi.ru/foto-prikoly-interesnoe/2285-feyerverki-i-petardy-v-razreze.html <b> Фейерверки и петарды в разрезе </b>
http://anubi.ru/foto-prikoly-interesnoe/3588-pobediteli-sony-world-photography-awards-2015-sredi-lyubiteley.html <b> Победители Sony World Photography Awards 2015 среди любителей </b>
http://anubi.ru/foto-prikoly-interesnoe/1068-kak-v-niderlandah-prohodit-parad-cvetov-korso-zyundert-2014.html

IrvingbofIrvingbof2018/09/21 04:50Приветствую!
Нашел интересные фотоподборки на этом сайте: http://coolsoda.ru :
<a href=http://coolsoda.ru/foto-prikoly-interesnoe/4945-progulka-po-lissabonu.html> Прогулка по Лиссабону </a>
<b> Фантастические туманные пейзажи </b> http://coolsoda.ru/foto-prikoly-interesnoe/1216-fantasticheskie-tumannye-peyzazhi.html
http://coolsoda.ru/foto-prikoly-interesnoe/1318-neveroyatnaya-krasota-udivitelnyh-prirodnyh-yavleniy.html

JessiewesJessiewes2018/09/24 13:24
зачем нужна звукоизоляция <a href=http://montazhnik02.ru/krysha/819-zachem-nuzhna-zvukoizolyaciya-potolka.html>http://montazhnik02.ru/krysha/819-zachem-nuzhna-zvukoizolyaciya-potolka.html</a>

RaymondunorkRaymondunork2018/09/25 15:55Привет всем! Класный у вас сайт!
Что скажете по поводу этих новостей?:
http://enewz.ru/news/3905-svodka-sobytiy-v-provinciyah-sirii-za-17-18-yanvarya.html <b> Сводка событий в провинциях Сирии за 17-18 января </b>
http://enewz.ru/news/11883-pushkov-bez-500-tysyach-zhizney-otdannyh-sssr-za-osvobozhdenie-polshi-ee-voobsche-ne-bylo-by.html
http://enewz.ru/news/26501-lyashko-pereplata-ukrainy-za-gaz-prevratilas-v-oruzhie-boevikov-na-donbasse.html
Ещё много интересного по теме нашел тут: <b> </b> http://enewz.ru/

LancediuffLancediuff2018/10/06 04:59Привет всем участникам форума!
Нашел удивительную фотосессию на этом сайте: http://okaybro.ru :
<a href=http://okaybro.ru/foto-prikoly-interesnoe/3747-samye-bolshie-samolety-v-mire.html> Самые большие самолеты в мире </a>
<b> Как делают деревянные ложки </b> http://okaybro.ru/foto-prikoly-interesnoe/3259-kak-delayut-derevyannye-lozhki.html
http://okaybro.ru/foto-prikoly-interesnoe/5127-patagoniya-samyy-krasivyy-trek-v-mire.html

LesnoylmtLesnoylmt2018/10/18 13:43Жк лесной квартал дмитров официальный <a href=http://xn----8sbagnyiehnl3afw.xn--p1acf>вит корпорация пушкино жк квартал в лесном форум</a> жк лесной квартал дмитров березовец

btfendofbtfendof2018/10/23 21:24anyday payday loans <a href="http://wwwonlinepaydayloans.com/">1000 no fax payday loan</a> online check advance <a href=http://wwwonlinepaydayloans.com/>cash loans no credit check</a>

hwrscorthwrscort2018/10/26 16:16low price viagra <a href="https://obatpasutri-jogja.com/">viagra online</a> viagra price <a href=https://obatpasutri-jogja.com/>buy generic viagra online</a>

bsfscortbsfscort2018/10/27 06:11small personal loans bad credit <a href="http://cash-advances-today.com/">american express cash advance</a> consolidate credit card <a href=http://cash-advances-today.com/>cash advance</a>

nsfpoorknsfpoork2018/10/27 18:23poor credit loan <a href="http://instantpaydayloanscentral.com/">loan online</a> tax debt problems <a href=http://instantpaydayloanscentral.com/>instant payday loans</a>

vskscortvskscort2018/10/31 22:40viagra for sale <a href="http://movietrailershd.org/">viagra online canadian pharmacy</a> canadian pharmacy viagra <a href=http://movietrailershd.org/>when will viagra go generic</a>

pljendofpljendof2018/11/05 03:29consolidation loans <a href="http://willpaydayloans.com/">1 hour payday loan</a> instant cash loans <a href=http://willpaydayloans.com/> advanced payday loan</a>

ebgscortebgscort2018/11/06 07:28does viagra work <a href="http://mo-basta.org/">buy viagra online</a> viagra sample <a href=http://mo-basta.org/>generic viagra buy</a>

snfShogssnfShogs2018/11/08 04:14generic viagra online <a href="https://www.niqabsquad.com/">buy generic viagra online</a> viagra purchase <a href=https://www.niqabsquad.com/>buy generic viagra</a>

nfgscortnfgscort2018/11/08 05:44buy cheap generic viagra <a href="https://authenticknicksstore.com/">cialis buy</a> what does viagra do <a href=https://authenticknicksstore.com/>online cialis</a>

ndfShogsndfShogs2018/11/10 23:27online cialis <a href="http://cialishe.com/">buy cialis online</a> purchase cialis <a href=http://cialishe.com/>online cialis</a>

bfhscortbfhscort2018/11/11 00:30womens viagra <a href="http://viagraeq.com/">buy cheap viagra</a> viagra alternatives <a href=http://viagraeq.com/>cheap viagra</a>

bfgRarnebfgRarne2018/11/11 08:20cheap cialis <a href="http://cialisovnsm.com/">online cialis</a> generic cialis <a href=http://cialisovnsm.com/>п»їcialis online</a>

xhjShogsxhjShogs2018/11/13 23:08tadalafil 20mg <a href="http://cialishwzbm.com/">online cialis</a> cialis brand <a href=http://cialishwzbm.com/>cialis buy</a>

nwtscortnwtscort2018/11/14 00:21tadalafil best price <a href="http://cialisgessa.com/">generic cialis</a> order cialis <a href=http://cialisgessa.com/>online cialis</a>

bafscortbafscort2018/11/14 20:43buy tadalafil <a href="http://cialisheobg.com/">buy cialis</a> cialis 5mg <a href=http://cialisheobg.com/>п»їcialis</a>

afbRarneafbRarne2018/11/15 01:48pfizer viagra <a href="http://generichviagraarnc.com/">generic viagra</a> viagra uk <a href=http://generichviagraarnc.com/>online viagra</a>

nehShogsnehShogs2018/11/17 19:48cialis no prescription <a href="http://valcialisns.com/">buy cialis online</a> non prescription cialis <a href=http://valcialisns.com/>cialis buy</a>

nfhscortnfhscort2018/11/17 20:47cialis for sale <a href="http://gocialisgjb.com/">cheap cialis</a> cialis no prescription <a href=http://gocialisgjb.com/>online cialis</a>

nsgRarnensgRarne2018/11/19 06:17viagra alternative <a href="http://viagraveikd.com/">buy generic viagra online</a> buy viagra without prescription <a href=http://viagraveikd.com/>viagra buy</a>

snfShogssnfShogs2018/11/20 18:46buy viagra soft <a href="http://onlineviaqer.com/">buy generic viagra online</a> viagra <a href=http://onlineviaqer.com/>viagra generic</a>

bafscortbafscort2018/11/21 02:27viagra generic <a href="http://menedkkr.com/">cheap viagra</a> free viagra samples <a href=http://menedkkr.com/>cheap viagra</a>

vspscortvspscort2018/11/28 02:18cialis professional <a href="http://drcialonlinedkb.com/">cialis online</a> generic tadalafil <a href=http://drcialonlinedkb.com/>cialis generic</a>

bthShogsbthShogs2018/11/28 18:50how long does viagra last <a href="http://viagracefo.com/">buy generic viagra</a> female viagra pill <a href=http://viagracefo.com/>generic viagra online</a>

bsrscortbsrscort2018/11/30 00:43cialis without prescription <a href="https://saresltd.com/cialis/">cialis generic</a> buy cheap cialis <a href=https://saresltd.com/cialis/>cialis online</a>

crgRarnecrgRarne2018/12/01 15:30viagra information <a href="http://viagrageneric7k.com/#">http://www.viagrageneric7k.com</a> online viagra <a href=http://viagrageneric7k.com/#>viagrageneric7k.com</a>

SVSWhalypeSVSWhalype2018/12/02 19:29Большая часть из скважин после завершения выполнения восстановительного комплекса процедур позволят быть снова введены в применение. Тем более что стоимость объекта данных выполненных работ в десять раз ниже цены непосредственных сооружений.
Гарантировано повышение сбыта водозаборной скважины не менее 30 процентов от имеющегося на момент старта действий.

В восьмидесяти процентов случаях скважины возобновляются до первичных данных при внедрении в текущую эксплуатацию скважины, это несомненно является альтернативой производства буровых работ новой скважины.

Сотрудники нашей международная компания по Очистке колодцев, отстойников и Ремонту водозаборных скважин предлагаем свои услуги всем, как частным так и общественным объединениям.


Спецводсервис - <a href=https://svs-samara.ru/skvazhiny/uvelichenie-proizvoditelnosti-debita-vodozabornyh-skvazhin/>увеличение производительности скважин</a>

KennethSoypeKennethSoype2018/12/05 03:36Hello everyone!
I want to introduce you the list http://sexygirls.com/casino.php - TOP casino online for real money. View the list by clicking on http://sexygirls.com/casino.php - LINK .

=========================================================================

Приветик всем!
Хочу представить вам список http://sexsigirls.com/casino.php - ТОП казино онлайн на реальные деньги. Посмотреть список можно перейдя по http://sexsigirls.com/casino.php - ССЫЛКЕ.

fghShogsfghShogs2018/12/07 17:57brand viagra <a href="http://holidayrentallorgues.com/">get viagra prescribed online</a> real viagra for sale <a href=http://holidayrentallorgues.com/>online pharmacy viagra</a>

badscortbadscort2018/12/07 18:59buy viagra professional <a href="http://www.movietrailershd.org/">generic viagra</a> viagra 50mg <a href=http://www.movietrailershd.org/>buy viagra online cheap</a>

JosephtapJosephtap2018/12/10 10:32Приветик всем!
Хочу представить вам список http://onebetbest.com/cas.php - ТОП казино онлайн на реальные деньги. Посмотреть список можно перейдя по http://onebetbest.com/cas.php - ССЫЛКЕ.
==========================================
Hello everyone!
I want to introduce you the list http://onebetbest.com/cas.php - TOP casino online for real money. View the list by clicking on http://onebetbest.com/cas.php - LINK .

iklscortiklscort2018/12/12 02:40viagra without a prescription <a href="http://canadianpharmacyfda.com/">best generic viagra</a> real viagra <a href=http://canadianpharmacyfda.com/>viagra online canada</a>

ymmShogsymmShogs2018/12/14 14:11viagra no prescription <a href="http://www.qenericviaqra.com/">where can i buy generic viagra</a> canada viagra <a href=http://www.qenericviaqra.com/>generic viagra reviews</a>

bnuscortbnuscort2018/12/14 15:21cialis prescription <a href="http://buycialls.com/">best online pharmacy for generic cialis</a> cialis no prescription <a href=http://buycialls.com/>buying generic cialis online safe</a>

SCWhalypeSCWhalype2018/12/14 20:23
This is may depend from implementation front-rank equipment park,technology,equipment,algorithm,cleaning,methods,equipment,components,mechanisms and industrial equipment, specialized detergents and cleaning funds and also beautiful organization work cleaning service.
In our world use support Cleaning firms made necessarily authoritative and relevant.

Some enterprises and organizations Partnership long for a time enjoy help with cleaning companies, but not conclude personal frames swabber for such types of services as Cleaning a private house and Bathroom cleaning in TriBeca .

Long-term practice General Partnership in Chinatown & Little Italy owner specialized company is STEPHEN WILLIAMS, revealed that hired trained staff cleaning firms produce cleaning well faster, neater, scrupulous and cleaner, than for example own regular cleaners.


You will be spared from wasting time on training and recruitment frames , on check his work, you it will not be necessary to allocate room for cleaners and organize storage inventory.

We Limited liability Limited Partnership is that is on the street Douglaston invite you personally work with uson profitable conditions.
Any Economist Proves You contain Multiple workman at a loss in collation with employ foreign cleaning service.



housekeeping hotel : <a href=https://apartclean.club>housekeeping marilynne robinson summary</a>

トラックバック - http://perl.g.hatena.ne.jp/ishiduca/20100412

2010-04-11

[][]Web::Scraperをもう少し 19:17 Web::Scraperをもう少し - ishiducaの日記 を含むブックマーク はてなブックマーク - Web::Scraperをもう少し - ishiducaの日記 Web::Scraperをもう少し - ishiducaの日記 のブックマークコメント

以前ワンライナーで書いた画像収集のコード(オトギリさんのホームページから画像収集)、があるけど、Web::Scraperを使ってやってみる。

ただ、これは別のサイト(というか、ブログ)だけど。

FC2のサイトだと mainEntryBodyクラス内の a タグでひっぱてくればいいので、こんな感じで。

get_img_from_fc2pl

#!/usr/bin/perl
use strict;
use warnings;
use Web::Scraper;
use URI;
use LWP::Simple;
use File::Basename;

@ARGV or die "Usage: $0 uri [...]\n";

# FC2 のサイト用
my $scraper = scraper {
    process ".mainEntryBody a", "link[]" => '@href';
};

foreach my $uri (@ARGV) {
    my $res = $scraper->scrape(URI->new($uri));
    print "$_\n" and mirror($_, basename($_))
        foreach (grep{ /^http:\/\/(.+?)$/i }(@{$res->{link}}));
    print "\n";
}

exit 0;
トラックバック - http://perl.g.hatena.ne.jp/ishiduca/20100411

2009-05-03

[][]オトギリさんのホームページから画像収集 17:32 オトギリさんのホームページから画像収集 - ishiducaの日記 を含むブックマーク はてなブックマーク - オトギリさんのホームページから画像収集 - ishiducaの日記 オトギリさんのホームページから画像収集 - ishiducaの日記 のブックマークコメント

事情というか、経緯は voxの記事 を参照してもらうとして、手順だけ。コードはワンライナーで画像収集/perl-users.jpのパクリ以外の何でもんですけど。

該当するウェブページからリンクの貼られた画像ファイルをダウンロードします。使い回しは結構効くんじゃないのかな?

  1. 画像を集めるディレクトリを作る
  2. 画像ファイルのリストを作る(テスト)
  3. 画像ファイルをダウンロードする

1. 画像を集めるディレクトリ (Otogiri) を作る

$ mkdir Otogiri

作っただけじゃワンライナーを実行してもディレクトリーに保存できないので

$ cd Otorigi

する

2. 正しく画像ファイル(.jpg)がリストにできるかテスト

$ perl -MLWP::Simple -e '$,="\n"; print map{ "$ARGV[0]$_" }get($ARGV[0]) =~ m|<a.*?href="([^"]+\.jpg)"|gi;' http://redsky.sakura.ne.jp/

3. 画像ファイルをダウンロードする

$ perl -MLWP::Simple -MFile::Basename -we 'map{$_="$ARGV[0]$_";mirror($_,basename($_))}get($ARGV[0]) =~ m|<a.*?href="([^"]+\.jpg)"|gi;' http://redsky.sakura.ne.jp/

で画像を集める

スクリプト(dl.pl)にするとこう。

#!/usr/bin/perl -w
use strict;
use LWP::Simple;
use File::Basename;

@ARGV == 1 or die "Usage:$0 URL\n";

my $content = get shift; # get $ARGV[0];
@list = $content =~ m|<a.*?href="([^"]+\.jpg)"|gi;

# 正規表現が正しいかチェックする段階で使う
#{
#   $, = "\n";
#   print @list,"\n";
#}

map{ $_ = "$ARGV[0]$_"; mirror($_,basename($_)) }@list;

exit 0;

実行するときは

$ perl dl.pl http://redsky.sakura.ne.jp
トラックバック - http://perl.g.hatena.ne.jp/ishiduca/20090503