不正なURLやアクセス時にエラーが返されるURLへの対処

クローラには次のような機能が必要になるようです．

クローリングの最中に，不正なURLやアクセス時にエラーが返されるURLに遭遇した場合，それらを無視する．

http://blog.japan.cnet.com/inoue/archives/001201.html