ロボット規約

ロボット規約（この名前であっているかどうかは不明です）に準拠したクローラに対しては，次の二つの方法で管理下のWebページへの訪問の可否を指示できるそうです．

1. Robots Exclusion Protocol
2. Robots META tag
   

１の方法は，Ｗｅｂサイトのルートに置いたrobots.txtでクローラに指示を与えるものです．一方，２の方法は，HTMLのmeta要素を使ってクローラに指示を与えるものです．詳しくは，以下のURLのページで説明されています．

http://www.robotstxt.org/wc/robots.html