Perl で robots.txt を解析するモジュール

- WWW::RobotRules
  http://search.cpan.org/~gaas/libwww-perl-5.75/lib/WWW/RobotRules.pm

- libwww-perl の 5.48 以降に含まれているらしい
  http://search.cpan.org/~gaas/libwww-perl-5.75/