悪趣味クロール

なんとなく集めてみるか、とか思って ココログの Ping を取ってきて XML::Parser で URL を pick して、各ページから RSS/Atom の URL を HTML::Parser 使って pick して、RSS/Atom をひたすら get するとかいう crawler を書いてみたのですが。 とりあえず 7,061 個 (536MB)とかの RSS/Atom をゲットできるみたいなので、それなりにオッケーっぽいすな。 で、ping から RSS/Atom を取れるようになったんだけど、それをどう料理しようかと考え中ー。


ひたすら RSS/Atom を取ってきて「あら 2GB 超えちゃいますよ旦那」っていいながら、Xserve G5 とか AMD64 とか Itanium とか SparcV9 とかの 64bitマシンに 16GB ぐらいのメモリ積む口実作ろうとか思ったのですが、まだまだ修行が足りないようで。

コメント

このブログの人気の投稿

パスワードを覚えるのも無理があるから、パスワードマネージャ使いましょう。

大型特殊自動車免許を取った時の話。

車両系建設機械運転者(整地) の講習