ここ数週間、Google のクローラ Googlebot が私の管理する CGI ベース のサイトに、これまでにないペースでじゃんじゃんアクセス来るので 負荷が心配になった（その割りに検索で上位にならないのはガッカリ）。 で、robot.txt にこんな記述を足した。 User-agent: Googlebot Crawl-delay: 10 昨晩設定して、今朝起きてログを見てみると、効果なし。 ネットで調べたら、Googlebot は Crawl-delay を無視する、 という話がいろいろ...