オープンソースなクローラ

  http://blog.windy.ac/2004/07/post_71.html

  オープンソースなクローラの一覧.
  一年以上前の記事だけど,User-Agent とかあるともっとよかったかも.