404は302?

SEO塾のブログより。

チカッパ・ロリポップの404は302? - 永遠にインデックスされ続ける削除ファイル

paperboy&co.が運営しているチカッパやロリポップのサーバでは、存在しないファイルにアクセスした場合に、HTTPヘッダが本来の404を返さずに302でリダイレクトしているのではという疑惑があるというのである。


へぇーへぇー。このブログはチカッパで設置してて、しかもrobot.txt設置していないからヘッダ見てみよう。

(一部省略してます)

http://fujii-yuji.net/robot.txt

GET /robot.txt HTTP/1.1
Host: fujii-yuji.net


HTTP/1.x 302 Found
Date: Sun, 06 Apr 2008 04:31:22 GMT
Location: http://err.chicappa.jp/404.html
----------------------------------------------------------
http://err.chicappa.jp/404.html


GET /404.html HTTP/1.1
Host: err.chicappa.jp


HTTP/1.x 404 Not Found
Content-Type: text/html


ほ、ほんとうに302でリダイレクトしてから404を返してる・・・!


追記:もう一個やってるサイトだとhtaccessで404ページを設定しているんだけど、こっちだと302にならないです。チカッパのデフォルト404だとリダイレクトが走るってことですね。


ま、商用サイトでもないし、別に困らないけど(笑)


ちなみに、クローラーがサイトにアクセスする時、ページより先にrobot.txtにアクセスするから、robot.txtを設置してない人は302→404になってクローラーが巡回できないんじゃないって問題については杞憂ですな。

普通にrobot.txtがないサイトと同じようにクロールしてるみたいです、はい。