SEO塾のブログより。
チカッパ・ロリポップの404は302？ - 永遠にインデックスされ続ける削除ファイル
paperboy&co.が運営しているチカッパやロリポップのサーバでは、存在しないファイルにアクセスした場合に、HTTPヘッダが本来の404を返さずに302でリダイレクトしているのではという疑惑があるというのである。
へぇーへぇー。このブログはチカッパで設置してて、しかもrobot.txt設置していないからヘッダ見てみよう。
(一部省略してます)
http://fujii-yuji.net/robot.txt
GET /robot.txt HTTP/1.1
Host: fujii-yuji.net
HTTP/1.x 302 Found
Date: Sun, 06 Apr 2008 04:31:22 GMT
Location: http://err.chicappa.jp/404.html
----------------------------------------------------------
http://err.chicappa.jp/404.html
GET /404.html HTTP/1.1
Host: err.chicappa.jp
HTTP/1.x 404 Not Found
Content-Type: text/html
ほ、ほんとうに302でリダイレクトしてから404を返してる・・・！
追記：もう一個やってるサイトだとhtaccessで404ページを設定しているんだけど、こっちだと302にならないです。チカッパのデフォルト404だとリダイレクトが走るってことですね。
ま、商用サイトでもないし、別に困らないけど（笑）
ちなみに、クローラーがサイトにアクセスする時、ページより先にrobot.txtにアクセスするから、robot.txtを設置してない人は302→404になってクローラーが巡回できないんじゃないって問題については杞憂ですな。
普通にrobot.txtがないサイトと同じようにクロールしてるみたいです、はい。
