大手サイトの robots.txt と sitemap をのぞいてみた。

仕事でとあるサイトの新規構築をしていて、サイトマップインデックスファイルを作ろうと思ったのですが、これ robots.txt に普通の sitemap として記述していいのかどうかわからなかったんですよ。
検索とかしてみたのですが日本語の情報がなく。


あ、念のために解説しておくと、検索エンジンのクローラー(ロボット)にサイト構造を伝えるXMLサイトマップっていうのがありまして。
ページ数が多いサイトなんかは、サイトマップインデックスファイルっていうXMLサイトマップの目次みたいなのを作るんですわ。
目次の目次って何だよって感じですが、まあ、ページ数が多いんだから仕方ないんですわ。


Googleの ウェブマスター向けヘルプとか読んでも「 robots.txt には複数のsitemapを記述できるよ」みたいなことだけ書いてある。それをまとめてサイトマップインデックスファイルにした場合はクロールしてくれるのかどうかを知りたいんだよね。
まあ、多分、問題ないんだろうけど、情報がないのは気持ち悪い・・・


sitemap.orgを見ると、複数のsitemapをサイトマップインデックスファイルにまとめられると書いてあるけど、その他のサイトには情報がないんだよな。



んーーー



あ、大手サイトのrobot.txtを見て参考にしてみれば分かるかもしれない・・・!



さっそく、みんな大好きAMAZON( co.jp )の robots.txt を見てみます。



■アマゾンのrobots.txt
http://www.amazon.co.jp/robots.txt

# Sitemap files
Sitemap: http://www.amazon.co.jp/sitemap_dp_index.xml
Sitemap: http://www.amazon.co.jp/sitemap_mobile_dp_index.xml
Sitemap: http://www.amazon.co.jp/sitemap-manual-index.xml
Sitemap: http://www.amazon.co.jp/sitemap_index_s.xml

お。
sitemap_dp_index.xml・・・アマゾンさんはサイトマップインデックスファイルを使用しているようです。

っていうかGoogleのrobots.txt見たら、Google様自体がサイトマップインデックスファイルを Sitemap: で記述してたわw
無問題ということがわかり、問題解決www


それにしても大手サイトの sitemap おもろいよ！！
ちょこーっとだけどSEO的な施策も見えるところもあるし。


以下はamazon.co.jpのサイトマップから。

sitemap_dp_index.xml
商品個別のURLを出力した XMLsitemapが991ファイル。
1ファイル中に2万件前後の商品URLが出力されているっぽいから、たぶん全商品分なんじゃないかなー。
AMAZONはURLルールが複雑なんだけど、検索エンジンに伝えたいキレイなURLを渡している模様(←ここらへん興味深い)


sitemap-manual-index.xml
manualとあるから、手動更新しているファイルなのかな?中身はsitemap_e_15.xmlというサイトマップが1ファイル登録されているだけ。
中身はバリバリのLPO施策。意外に地道な活動してるんだなあ・・・　

こんな感じ↓
<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.google.com/schemas/sitemap/0.84"> <url><loc>http://www.amazon.co.jp/松田聖子/e/B001LHD67K</loc></url> <url><loc>http://www.amazon.co.jp/ゆず/e/B001LHEKNO</loc></url> <url><loc>http://www.amazon.co.jp/ユニコーン/e/B001LHTQ1K</loc></url> <url><loc>http://www.amazon.co.jp/斉藤和義/e/B001LHWVXA</loc></url> <url><loc>http://www.amazon.co.jp/中島美嘉/e/B000BCLJMK</loc></url> <url><loc>http://www.amazon.co.jp/氷室京介/e/B001LHD5I0</loc></url> <url><loc>http://www.amazon.co.jp/福山雅治/e/B000AR9AFO</loc></url> <url><loc>http://www.amazon.co.jp/平原綾香/e/B001LHU4RU</loc></url> <url><loc>http://www.amazon.co.jp/木村カエラ/e/B001LI1YK0</loc></url> <url><loc>http://www.amazon.co.jp/矢沢永吉/e/B001LHDZIK</loc></url> <url><loc>http://www.amazon.co.jp/GLAY/e/B000APRPF8</loc></url> <url><loc>http://www.amazon.co.jp/L'Arc~en~Ciel/e/B000APO1KU</loc></url> <url><loc>http://www.amazon.co.jp/Mr.Children/e/B000APJ0H4</loc></url> <url><loc>http://www.amazon.co.jp/布袋寅泰/e/B000APHP6M</loc></url> <url><loc>http://www.amazon.co.jp/平井堅/e/B000APRT4U</loc></url> <url><loc>http://www.amazon.co.jp/BoA/e/B000APJD6M</loc></url> <url><loc>http://www.amazon.co.jp/BONNIE PINK/e/B000APACOY</loc></url> <url><loc>http://www.amazon.co.jp/MEG/e/B002E3E37C</loc></url> <url><loc>http://www.amazon.co.jp/m-flo/e/B000AQTHHQ</loc></url> <url><loc>http://www.amazon.co.jp/つるの剛士/e/B002E3YJAS</loc></url> <url><loc>http://www.amazon.co.jp/レミオロメン/e/B002E3VS2U</loc></url> <url><loc>http://www.amazon.co.jp/安藤裕子/e/B001LI27L0</loc></url> <url><loc>http://www.amazon.co.jp/忌野清志郎/e/B001LI2F58</loc></url> <url><loc>http://www.amazon.co.jp/坂本真綾/e/B000AR9DNI</loc></url> <url><loc>http://www.amazon.co.jp/山崎まさよし/e/B001LH93Q8</loc></url> <url><loc>http://www.amazon.co.jp/上原ひろみ/e/B000ARBHSW</loc></url> <url><loc>http://www.amazon.co.jp/東方神起/e/B001LHUDMQ</loc></url> <url><loc>http://www.amazon.co.jp/エリック・クラプトン/e/B000AQ0UOA</loc></url> <url><loc>http://www.amazon.co.jp/マドンナ/e/B000APIQE2</loc></url> <url><loc>http://www.amazon.co.jp/エンヤ/e/B000APUOQK</loc></url> <url><loc>http://www.amazon.co.jp/グリーン・デイ/e/B000APYLTG</loc></url> <url><loc>http://www.amazon.co.jp/くるり/e/B001LHNI7I</loc></url> <url><loc>http://www.amazon.co.jp/小泉今日子/e/B001LI6GYO</loc></url> <url><loc>http://www.amazon.co.jp/坂本真綾/e/B000AR9DNI</loc></url> <url><loc>http://www.amazon.co.jp/シド/e/B001LHBUZK</loc></url> <url><loc>http://www.amazon.co.jp/湘南乃風/e/B001LHZQMS</loc></url> <url><loc>http://www.amazon.co.jp/ステレオポニー/e/B002E4K1HM</loc></url> <url><loc>http://www.amazon.co.jp/西野カナ/e/B002E4CS0A</loc></url> <url><loc>http://www.amazon.co.jp/ハナレグミ/e/B001LHZGIM</loc></url> <url><loc>http://www.amazon.co.jp/ポルノグラフィティ/e/B000APRWA6</loc></url> <url><loc>http://www.amazon.co.jp/capsule/e/B002E3LFK0</loc></url> <url><loc>http://www.amazon.co.jp/LOVE PHYCHEDELICO/e/B000AR9AA4</loc></url> <url><loc>http://www.amazon.co.jp/KOTOKO/e/B001LHXZQM</loc></url> <url><loc>http://www.amazon.co.jp/Perfume/e/B001LH8IBY</loc></url> <url><loc>http://www.amazon.co.jp/RIP SLYME/e/B001LHLIRK</loc></url> <url><loc>http://www.amazon.co.jp/アンジェラ・アキ/e/B001LHUXTE</loc></url> <url><loc>http://www.amazon.co.jp/エレファント・カシマシ/e/B001LHSQDE</loc></url> <url><loc>http://www.amazon.co.jp/コブクロ/e/B000AQW2YG</loc></url> <url><loc>http://www.amazon.co.jp/絢香/e/B002E3M1NK</loc></url> <url><loc>http://www.amazon.co.jp/宇多田ヒカル/e/B002E1KEY0</loc></url> <url><loc>http://www.amazon.co.jp/坂本龍一/e/B002E14UOK</loc></url> <url><loc>http://www.amazon.co.jp/山下達郎/e/B001LH7H3E</loc></url> <url><loc>http://www.amazon.co.jp/松任谷由美/e/B001LHASVC</loc></url> <url><loc>http://www.amazon.co.jp/菅野よう子/e/B000AQ1Y68</loc></url> <url><loc>http://www.amazon.co.jp/青山テルマ/e/B001LIIS9K</loc></url> <url><loc>http://www.amazon.co.jp/倉木麻衣/e/B001LHJ3NG</loc></url> <url><loc>http://www.amazon.co.jp/竹内まりや/e/B000APJ024</loc></url> <url><loc>http://www.amazon.co.jp/椎名林檎/e/B001LHNCAG</loc></url> <url><loc>http://www.amazon.co.jp/徳永英明/e/B000AP6ZUY</loc></url> <url><loc>http://www.amazon.co.jp/氷川きよし/e/B001LHLT5Q</loc></url> <url><loc>http://www.amazon.co.jp/浜崎あゆみ/e/B000APRN64</loc></url> <url><loc>http://www.amazon.co.jp/aiko/e/B000AQW1NS</loc></url> <url><loc>http://www.amazon.co.jp/B'z /e/B000APRWD8</loc></url> <url><loc>http://www.amazon.co.jp/BIGBANG/e/B002E3LYMY</loc></url> <url><loc>http://www.amazon.co.jp/BREAKERZ/e/B001LI6RF2</loc></url> <url><loc>http://www.amazon.co.jp/CHAGE and ASKA/e/B000APC3QO</loc></url> <url><loc>http://www.amazon.co.jp/DREAMS COME TRUE/e/B000APAC9O</loc></url> <url><loc>http://www.amazon.co.jp/EXILE/e/B002HEMYLA</loc></url> <url><loc>http://www.amazon.co.jp/Gackt/e/B000APN4W6</loc></url> <url><loc>http://www.amazon.co.jp/GARNET CROW/e/B000AQW1M4</loc></url> <url><loc>http://www.amazon.co.jp/Girl Next Door/e/B002E3FU4C</loc></url> <url><loc>http://www.amazon.co.jp/KREVA/e/B001LHMBCG</loc></url> <url><loc>http://www.amazon.co.jp/Winds/e/B001LHJJNK</loc></url> <url><loc>http://www.amazon.co.jp/ZARD/e/B000AQTHWQ</loc></url> <url><loc>http://www.amazon.co.jp/スピッツ/e/B000AR9EVO</loc></url> <url><loc>http://www.amazon.co.jp/愛内里菜/e/B000APN92G</loc></url> <url><loc>http://www.amazon.co.jp/奥華子/e/B002E3JR8W</loc></url> <url><loc>http://www.amazon.co.jp/三枝夕夏 IN db/e/B002E4NNVS</loc></url> <url><loc>http://www.amazon.co.jp/上戸彩/e/B002E4F5JQ</loc></url> <url><loc>http://www.amazon.co.jp/藤木直人/e/B002E1BIEU</loc></url> <url><loc>http://www.amazon.co.jp/BUMP OF CHICKEN/e/B000AR80EG</loc></url> <url><loc>http://www.amazon.co.jp/flumpool/e/B001O3Z52K</loc></url> <url><loc>http://www.amazon.co.jp/GReeeeN/e/B001LIEOD4</loc></url> <url><loc>http://www.amazon.co.jp/mihimaru GT/e/B002E4GZ4K</loc></url> <url><loc>http://www.amazon.co.jp/PUFFY/e/B000APMXKU</loc></url> <url><loc>http://www.amazon.co.jp/superfly/e/B001LHB9EC</loc></url> <url><loc>http://www.amazon.co.jp/TUBE/e/B000APBR3O</loc></url> <url><loc>http://www.amazon.co.jp/UVERworld/e/B001LHUOIY</loc></url> <url><loc>http://www.amazon.co.jp/Wat/e/B002E3N32I</loc></url> <url><loc>http://www.amazon.co.jp/いきものがかり/e/B002E3XOF4</loc></url> <url><loc>http://www.amazon.co.jp/ウルフルズ/e/B001LH6VL8</loc></url> <url><loc>http://www.amazon.co.jp/キマグレン/e/B002E48Z8Y</loc></url> <url><loc>http://www.amazon.co.jp/ケツメイシ/e/B001LHSGMU</loc></url> <url><loc>http://www.amazon.co.jp/ゴスペラーズ/e/B000AQW4K8</loc></url> <url><loc>http://www.amazon.co.jp/サザンオールスターズ/e/B000APH990</loc></url> <url><loc>http://www.amazon.co.jp/さだまさし/e/B000AR9EK0</loc></url> <url><loc>http://www.amazon.co.jp/スガシカオ/e/B001LHEFC0</loc></url> <url><loc>http://www.amazon.co.jp/たむらぱん/e/B002E3HD1K</loc></url> <url><loc>http://www.amazon.co.jp/トータス松本/e/B002E1E44Q</loc></url> <url><loc>http://www.amazon.co.jp/モーニング娘。/e/B000AR9A2W</loc></url> <url><loc>http://www.amazon.co.jp/安室奈美恵/e/B000APPHV2</loc></url> <url><loc>http://www.amazon.co.jp/加藤ミリヤ/e/B001LHWG26</loc></url> <url><loc>http://www.amazon.co.jp/吉川晃司/e/B001LHQS2U</loc></url> <url><loc>http://www.amazon.co.jp/筋肉少女帯/e/B000AR9C34</loc></url> <url><loc>http://www.amazon.co.jp/倖田來未/e/B002E4NM4G</loc></url> <url><loc>http://www.amazon.co.jp/新垣結衣/e/B001LH0KN8</loc></url> <url><loc>http://www.amazon.co.jp/中森明菜/e/B001LHCBR6</loc></url> <url><loc>http://www.amazon.co.jp/中川翔子/e/B001LH69YC</loc></url> <url><loc>http://www.amazon.co.jp/長渕剛/e/B000AQ1KEY</loc></url> <url><loc>http://www.amazon.co.jp/馬場俊英/e/B001LHZNQC</loc></url> <url><loc>http://www.amazon.co.jp/SPEED/e/B001LH9IOK</loc></url> <url><loc>http://www.amazon.co.jp/YUKI/e/B001LGYTM2</loc></url> <url><loc>http://www.amazon.co.jp/BRAHMAN/e/B001LHT4SU</loc></url> <url><loc>http://www.amazon.co.jp/JUJU/e/B001LHN8QY</loc></url> <url><loc>http://www.amazon.co.jp/JUN SKY WALKER(S)/e/B000AR7XJ4</loc></url> <url><loc>http://www.amazon.co.jp/ORANGERANGE/e/B001LHTJJO</loc></url> <url><loc>http://www.amazon.co.jp/ROCK 'A' TRENCH/e/B001LIEVYQ</loc></url> <url><loc>http://www.amazon.co.jp/Salyu/e/B001LI29YA</loc></url> <url><loc>http://www.amazon.co.jp/Sweet Vacation/e/B002E476FC</loc></url> <url><loc>http://www.amazon.co.jp/UA/e/B000AR9E6E</loc></url> <url><loc>http://www.amazon.co.jp/YMO (Yellow Magic Orchestra)/e/B000AQ1UF8</loc></url> <url><loc>http://www.amazon.co.jp/YUI/e/B001LHZOKC</loc></url> <url><loc>http://www.amazon.co.jp/リア・ディゾン/e/B001LI2UZS</loc></url> <url><loc>http://www.amazon.co.jp/リンキン・パーク/e/B000APTOYS</loc></url> <url><loc>http://www.amazon.co.jp/レッド・ツェッペリン/e/B000AQU33I</loc></url> <url><loc>http://www.amazon.co.jp/レッド・ホット・チリ・ペッパーズ/e/B000APEEIY</loc></url> <url><loc>http://www.amazon.co.jp/土屋アンナ/e/B001O41D84</loc></url> <url><loc>http://www.amazon.co.jp/島谷ひとみ/e/B001LHL276</loc></url> <url><loc>http://www.amazon.co.jp/清木場俊介/e/B002E436NS</loc></url> <url><loc>http://www.amazon.co.jp/UNISON SQUARE GARDEN/e/B002E4HW6U</loc></url> <url><loc>http://www.amazon.co.jp/遊助/e/B002E45PQ4</loc></url> <url><loc>http://www.amazon.co.jp/Acid Black Cherry/e/B002E3QBEA</loc></url> <url><loc>http://www.amazon.co.jp/Aira Mitsuki/e/B001LH577C</loc></url> <url><loc>http://www.amazon.co.jp/藍坊主/e/B001LI3QRO</loc></url> <url><loc>http://www.amazon.co.jp/Back Drop Bomb/e/B001LHUOUC</loc></url> <url><loc>http://www.amazon.co.jp/Clazziquai Project/e/B001LHPIR6</loc></url> <url><loc>http://www.amazon.co.jp/Doping Panda/e/B001LHWCAW</loc></url> <url><loc>http://www.amazon.co.jp/導楽/e/B002E423GY</loc></url> <url><loc>http://www.amazon.co.jp/Eastern Youth/e/B000APSI1S</loc></url> <url><loc>http://www.amazon.co.jp/Ego Wrappin'/e/B001LHURMM</loc></url> <url><loc>http://www.amazon.co.jp/FLOW/e/B001LI0B7W</loc></url> <url><loc>http://www.amazon.co.jp/fam/e/B001LH6HH6</loc></url> <url><loc>http://www.amazon.co.jp/上松秀実/e/B002E416GW</loc></url> <url><loc>http://www.amazon.co.jp/Hoobastank/e/B000APU0FK</loc></url> <url><loc>http://www.amazon.co.jp/川井郁子/e/B001LHUNYE</loc></url> <url><loc>http://www.amazon.co.jp/JASMINE/e/B002E3TS1S</loc></url> <url><loc>http://www.amazon.co.jp/Jay'ed/e/B002E3HLFI</loc></url> <url><loc>http://www.amazon.co.jp/大橋純子/e/B001LI03XO</loc></url> <url><loc>http://www.amazon.co.jp/小林香織/e/B001LHYCZU</loc></url> <url><loc>http://www.amazon.co.jp/三浦一馬/e/B002E3DSOG</loc></url> <url><loc>http://www.amazon.co.jp/浅井健一/e/B001LHMHZ2</loc></url> <url><loc>http://www.amazon.co.jp/清春/e/B001LHUCTK</loc></url> <url><loc>http://www.amazon.co.jp/杉山清貴/e/B001LHUDEO</loc></url> <url><loc>http://www.amazon.co.jp/AYUSE KOZUE/e/B001LI1PPE</loc></url> <url><loc>http://www.amazon.co.jp/マリア/e/B002E3JHSW</loc></url> <url><loc>http://www.amazon.co.jp/高橋真梨子/e/B000APN59S</loc></url> <url><loc>http://www.amazon.co.jp/Maximum the Hormone /e/B00197ENNI</loc></url> <url><loc>http://www.amazon.co.jp/May'n/e/B002E3FBWS</loc></url> <url><loc>http://www.amazon.co.jp/マイ・ケミカル・ロマンス/e/B000APSDZY</loc></url> <url><loc>http://www.amazon.co.jp/Micro/e/B002E3SQ5M</loc></url> <url><loc>http://www.amazon.co.jp/福原美穂/e/B001LH60LE</loc></url> <url><loc>http://www.amazon.co.jp/MINMI/e/B001LHUSVC</loc></url> <url><loc>http://www.amazon.co.jp/MUSE/e/B000AP5PXW</loc></url> <url><loc>http://www.amazon.co.jp/My Little Lover/e/B000AR80LO</loc></url> <url><loc>http://www.amazon.co.jp/ナイトメア/e/B002E45CBW</loc></url> <url><loc>http://www.amazon.co.jp/ONE☆DRAFT/e/B001LH6546</loc></url> <url><loc>http://www.amazon.co.jp/OVERGROUND ACOUSTIC UNDERGROUND/e/B002E3HOHS</loc></url> <url><loc>http://www.amazon.co.jp/Red Hot Chili Peppers/e/B000APEEIY</loc></url> <url><loc>http://www.amazon.co.jp/松田理奈/e/B002E4BM2K</loc></url> <url><loc>http://www.amazon.co.jp/サカナクション/e/B001LHACFE</loc></url> <url><loc>http://www.amazon.co.jp/Samurai Troops/e/B001LI4QHS</loc></url> <url><loc>http://www.amazon.co.jp/菅原紗由理/e/B002E4LPUE</loc></url> <url><loc>http://www.amazon.co.jp/Sean Paul /e/B000APKQ7W</loc></url> <url><loc>http://www.amazon.co.jp/加賀美セイラ/e/B001LH83RI</loc></url> <url><loc>http://www.amazon.co.jp/Sophie Milman/e/B00197EFYU</loc></url> <url><loc>http://www.amazon.co.jp/Spank Page/e/B002E3WW1Q</loc></url> <url><loc>http://www.amazon.co.jp/大萩康司/e/B001LHUJTS</loc></url> <url><loc>http://www.amazon.co.jp/寺岡呼人/e/B001LHU2U4</loc></url> <url><loc>http://www.amazon.co.jp/FIRST OF ALL/e/B002E3FDW6</loc></url> <url><loc>http://www.amazon.co.jp/中納良恵/e/B001LICVU2</loc></url> <url><loc>http://www.amazon.co.jp/Last Alliance/e/B001LHZFHE</loc></url> <url><loc>http://www.amazon.co.jp/臼井嗣人/e/B001LH6Z7S</loc></url> <url><loc>http://www.amazon.co.jp/ジェット機/e/B001LHACCM</loc></url> <url><loc>http://www.amazon.co.jp/鴉/e/B002E3TYQ2</loc></url> <url><loc>http://www.amazon.co.jp/S.R.S/e/B002E4FPLY</loc></url> <url><loc>http://www.amazon.co.jp/FREENOTE/e/B001LI09GU</loc></url> <url><loc>http://www.amazon.co.jp/石田燿子/e/B001LHNJV8</loc></url> <url><loc>http://www.amazon.co.jp/アレサ・フランクリン/e/B000APBG6M</loc></url> <url><loc>http://www.amazon.co.jp/ボブ・ディラン/e/B000AP7NRI</loc></url> <url><loc>http://www.amazon.co.jp/カラヤン/e/B000AQ0QYE</loc></url> <url><loc>http://www.amazon.co.jp/ビートルズ/e/B000APTK6K</loc></url> <url><loc>http://www.amazon.co.jp/GOLLBETTY/e/B002E3U9BG</loc></url> <url><loc>http://www.amazon.co.jp/HALFBY/e/B001LI2BPC</loc></url> <url><loc>http://www.amazon.co.jp/HAN-KUN/e/B001LH7OXM</loc></url> <url><loc>http://www.amazon.co.jp/Labret/e/B001LH5BCI</loc></url> <url><loc>http://www.amazon.co.jp/Lostage/e/B001LIGL4E</loc></url> <url><loc>http://www.amazon.co.jp/まきちゃんぐ/e/B001LHCCQQ</loc></url> <url><loc>http://www.amazon.co.jp/Pay Money to My Pain/e/B001LIA15O</loc></url> <url><loc>http://www.amazon.co.jp/Peaky SALT/e/ B001LH80US</loc></url> <url><loc>http://www.amazon.co.jp/Rag Fair/e/B001LHW05Y</loc></url> <url><loc>http://www.amazon.co.jp/セカイイチ/e/B001LI2EFO</loc></url> <url><loc>http://www.amazon.co.jp/Spread/e/B002E43SYU</loc></url> <url><loc>http://www.amazon.co.jp/玉置成実/e/B001LHLZAA</loc></url> <url><loc>http://www.amazon.co.jp/北出菜奈/e/B001LHTAQ6</loc></url> <url><loc>http://www.amazon.co.jp/ザ・ローリング・ストーンズ/e/B000APYW40</loc></url> <url><loc>http://www.amazon.co.jp/カーペンターズ/e/B000APC7EC</loc></url> <url><loc>http://www.amazon.co.jp/ABBA/e/B000APR9C2</loc></url> <url><loc>http://www.amazon.co.jp/スティーヴィー・ワンダー/e/B000AQ0PZO</loc></url> <url><loc>http://www.amazon.co.jp/ビヨンセ/e/B000APOLQ4</loc></url> <url><loc>http://www.amazon.co.jp/マイルス・デイビス/e/B000APO6V4</loc></url> <url><loc>http://www.amazon.co.jp/キース・ジャレット/e/B000APTKLA</loc></url> <url><loc>http://www.amazon.co.jp/ビル・エバンス/e/B000AP5G22</loc></url> <url><loc>http://www.amazon.co.jp/ケミカル・ブラザーズ/e/B000AQ22AU</loc></url> <url><loc>http://www.amazon.co.jp/ファットボーイ・スリム/e/B000AQ6VYS</loc></url> <url><loc>http://www.amazon.co.jp/クラフトワーク/e/B000AQ2MIM</loc></url> <url><loc>http://www.amazon.co.jp/平野綾/e/B002E49FWE</loc></url> <url><loc>http://www.amazon.co.jp/水樹奈々/e/B001LHZWH2</loc></url> <url><loc>http://www.amazon.co.jp/セルジオ・メンデス/e/B002E3DT2M</loc></url> <url><loc>http://www.amazon.co.jp/アントニオ・カルロス・ジョビン/e/B000AR8OZG</loc></url> <url><loc>http://www.amazon.co.jp/ジプシーキングス/e/B000AQ0HZM</loc></url> <url><loc>http://www.amazon.co.jp/ボブ・マーリー/e/B002E0U1ZI</loc></url> <url><loc>http://www.amazon.co.jp/アンドレア・ボチェッリ/e/B000APRADU</loc></url> <url><loc>http://www.amazon.co.jp/エディット・ピアフ/e/B000APWKXA</loc></url> <url><loc>http://www.amazon.co.jp/小澤征爾/e/B002GPVGFU</loc></url> <url><loc>http://www.amazon.co.jp/グレン・グールド/e/B000ARDG7W</loc></url> <url><loc>http://www.amazon.co.jp/ヨーヨー・マ/e/B000APXHR8</loc></url> <url><loc>http://www.amazon.co.jp/AC-DC/e/B000AQU2YI</loc></url> <url><loc>http://www.amazon.co.jp/エアロスミス/e/B000AQ0F4K</loc></url> <url><loc>http://www.amazon.co.jp/オールマン・ブラザース・バンド/e/B000APWJLI</loc></url> <url><loc>http://www.amazon.co.jp/アニマル・コレクティヴ/e/B000APRELI</loc></url> <url><loc>http://www.amazon.co.jp/エイフェックス・ツイン/e/B000APRHDS</loc></url> <url><loc>http://www.amazon.co.jp/アークティック・モンキーズ/e/B0017PCN3O</loc></url> <url><loc>http://www.amazon.co.jp/アッシュ/e/B000APXP9S</loc></url> <url><loc>http://www.amazon.co.jp/オーディオ・スレイヴ/e/B000APOUKG</loc></url> <url><loc>http://www.amazon.co.jp/オウテカ/e/B000AQ6W5Q</loc></url> <url><loc>http://www.amazon.co.jp/ビースティーボーイズ/e/B000AQU392</loc></url> <url><loc>http://www.amazon.co.jp/ベック/e/B000APVS5G</loc></url> <url><loc>http://www.amazon.co.jp/ベン・フォールズ・ファイヴ/e/B000AQ08T2</loc></url> <url><loc>http://www.amazon.co.jp/ビョーク/e/B000AQ35IS</loc></url> <url><loc>http://www.amazon.co.jp/ブラー/e/B000APAS84</loc></url> <url><loc>http://www.amazon.co.jp/ボブ・ディラン/e/B000AP7NRI</loc></url> <url><loc>http://www.amazon.co.jp/ボン・ジョヴィ/e/B000AR8MQM</loc></url> <url><loc>http://www.amazon.co.jp/ブライアン・イーノ/e/B000APJ9MK</loc></url> <url><loc>http://www.amazon.co.jp/ブルース・スプリングスティーン/e/B000AQ2ZLQ</loc></url> <url><loc>http://www.amazon.co.jp/バッファロー・スプリングフィールド/e/B000APXNJ0</loc></url> <url><loc>http://www.amazon.co.jp/キャロル・キング/e/B000APWFBW</loc></url> <url><loc>http://www.amazon.co.jp/クリーデンス・クリアウォーター・リバイバル/e/B000APTGX2</loc></url> <url><loc>http://www.amazon.co.jp/チープ・トリック/e/B000APEDO4</loc></url> <url><loc>http://www.amazon.co.jp/シカゴ/e/B000AP9L4G</loc></url> <url><loc>http://www.amazon.co.jp/ザ・クラッシュ/e/B000APF3RK</loc></url> <url><loc>http://www.amazon.co.jp/コクトー・ツインズ/e/B000APXQP6</loc></url> <url><loc>http://www.amazon.co.jp/コールドプレイ/e/B000APPUFK</loc></url> <url><loc>http://www.amazon.co.jp/クリーム/e/B000APBMBQ</loc></url> <url><loc>http://www.amazon.co.jp/ダフト・パンク/e/B000APYLFU</loc></url> <url><loc>http://www.amazon.co.jp/デビッド・ボウイ/e/B000AQ090A</loc></url> <url><loc>http://www.amazon.co.jp/ディープ・パープル/e/B000AP9IPI</loc></url> <url><loc>http://www.amazon.co.jp/デフ・レパード/e/B000APWJAE</loc></url> <url><loc>http://www.amazon.co.jp/デレク&ザ・ドミノス/e/B000AQ06VW</loc></url> <url><loc>http://www.amazon.co.jp/ディーヴォ/e/B000AQ061M</loc></url> <url><loc>http://www.amazon.co.jp/ダイナソーJR/e/B000APVLRG</loc></url> <url><loc>http://www.amazon.co.jp/ザ・ドゥービー・ブラザーズ/e/B000APXHZA</loc></url> <url><loc>http://www.amazon.co.jp/ザ・ドアーズ/e/B000APF3U2</loc></url> <url><loc>http://www.amazon.co.jp/イーグルス/e/B000APY93Y</loc></url> <url><loc>http://www.amazon.co.jp/E.L.O./e/B000APBB9O</loc></url> <url><loc>http://www.amazon.co.jp/エルトン・ジョン/e/B000APU2KS</loc></url> <url><loc>http://www.amazon.co.jp/エルビス・コステロ/e/B000APURAS</loc></url> <url><loc>http://www.amazon.co.jp/エリック・クラプトン/e/B000AQ0UOA</loc></url> <url><loc>http://www.amazon.co.jp/ファットボーイ・スリム/e/B000AQ6VYS</loc></url> <url><loc>http://www.amazon.co.jp/フランツ・フェルディナンド/e/B000APUNY8</loc></url> <url><loc>http://www.amazon.co.jp/ジェネシス/e/B000APYVE6</loc></url> <url><loc>http://www.amazon.co.jp/ジョージ・ハリスン/e/B000APABMW</loc></url> <url><loc>http://www.amazon.co.jp/グレイトフル・デッド/e/B000AR8M94</loc></url> <url><loc>http://www.amazon.co.jp/グリーン・デイ/e/B000APYLTG</loc></url> <url><loc>http://www.amazon.co.jp/ガンズ・アンド・ローゼズ/e/B000APVNVU</loc></url> <url><loc>http://www.amazon.co.jp/アイアン・メイデン/e/B000APEW1I</loc></url> <url><loc>http://www.amazon.co.jp/ジェイムス・テイラー/e/B000APMHCE</loc></url> <url><loc>http://www.amazon.co.jp/ジャニス・ジョプリン/e/B000APEO1G</loc></url> <url><loc>http://www.amazon.co.jp/ジェフ・ベック/e/B000AQ17BK</loc></url> <url><loc>http://www.amazon.co.jp/ザ・ジミ・ヘンドリックス・エクスペリエンス/e/B002E4ET9S</loc></url> <url><loc>http://www.amazon.co.jp/ジョン・レノン/e/B000AQ06WQ</loc></url> <url><loc>http://www.amazon.co.jp/ジョニー・キャッシュ/e/B000APLVFI</loc></url> <url><loc>http://www.amazon.co.jp/ジョニ・ミッチェル/e/B000APVAPY</loc></url> <url><loc>http://www.amazon.co.jp/キーン/e/B000APUUB4</loc></url> <url><loc>http://www.amazon.co.jp/キング・クリムゾン/e/B000APWKDU</loc></url> <url><loc>http://www.amazon.co.jp/キンクス/e/B000APYNRG</loc></url> <url><loc>http://www.amazon.co.jp/クラフトワーク/e/B000AQ2MIM</loc></url> <url><loc>http://www.amazon.co.jp/レッド・ツェッペリン/e/B000AQU33I</loc></url> <url><loc>http://www.amazon.co.jp/レニー・クラビッツ/e/B000APH81E</loc></url> <url><loc>http://www.amazon.co.jp/リンキン・パーク/e/B000APTOYS</loc></url> <url><loc>http://www.amazon.co.jp/リトル・フィート/e/B000AQ06XK</loc></url> <url><loc>http://www.amazon.co.jp/ルー・リード/e/B000APRA6W</loc></url> <url><loc>http://www.amazon.co.jp/マドンナ/e/B000APIQE2</loc></url> <url><loc>http://www.amazon.co.jp/メガデス/e/B000APENBM</loc></url> <url><loc>http://www.amazon.co.jp/メタリカ/e/B000APEBQY</loc></url> <url><loc>http://www.amazon.co.jp/マイケル・ジャクソン/e/B000APU04Q</loc></url> <url><loc>http://www.amazon.co.jp/ニール・ヤング/e/B000APYJWA</loc></url> <url><loc>http://www.amazon.co.jp/ナイン・インチ・ネイルズ/e/B000APYLU0</loc></url> <url><loc>http://www.amazon.co.jp/ニルヴァーナ/e/B000APW4NG</loc></url> <url><loc>http://www.amazon.co.jp/オアシス/e/B000APR9UE</loc></url> <url><loc>http://www.amazon.co.jp/オジー・オズボーン/e/B000ARC4PM</loc></url> <url><loc>http://www.amazon.co.jp/パティ・スミス/e/B000AQ794Y</loc></url> <url><loc>http://www.amazon.co.jp/ポール・マッカートニー/e/B000APEVO6</loc></url> <url><loc>http://www.amazon.co.jp/ポール・ウェラー/e/B000AQ2HF0</loc></url> <url><loc>http://www.amazon.co.jp/パール・ジャム/e/B000AQ37PY</loc></url> <url><loc>http://www.amazon.co.jp/ペット・ショップ・ボーイズ/e/B000ARC4HA</loc></url> <url><loc>http://www.amazon.co.jp/ピンク・フロイド/e/B000APVN38</loc></url> <url><loc>http://www.amazon.co.jp/PJハーヴェイ/e/B000AQ2FYS</loc></url> <url><loc>http://www.amazon.co.jp/ザ・ポリス/e/B000AQ1DU0</loc></url> <url><loc>http://www.amazon.co.jp/ポーティスヘッド/e/B000APH7C4</loc></url> <url><loc>http://www.amazon.co.jp/プライマル・スクリーム/e/B000AQ1FVW</loc></url> <url><loc>http://www.amazon.co.jp/プリンス/e/B000ARA1B6</loc></url> <url><loc>http://www.amazon.co.jp/クイーン/e/B000AQ0748</loc></url> <url><loc>http://www.amazon.co.jp/R.E.M./e/B000APYJQQ</loc></url> <url><loc>http://www.amazon.co.jp/レディオヘッド/e/B000AP9MOK</loc></url> <url><loc>http://www.amazon.co.jp/ラモーンズ/e/B000AQ373Q</loc></url> <url><loc>http://www.amazon.co.jp/レッド・ホット・チリ・ペッパーズ/e/B000APEEIY</loc></url> <url><loc>http://www.amazon.co.jp/ロッド・スチュワート/e/B000AP7XKA</loc></url> <url><loc>http://www.amazon.co.jp/ロキシー・ミュージック/e/B000APZTJ2</loc></url> <url><loc>http://www.amazon.co.jp/ライ・クーダー/e/B000APJGKU</loc></url> <url><loc>http://www.amazon.co.jp/サンタナ/e/B000AP9M1I</loc></url> <url><loc>http://www.amazon.co.jp/シガー・ロス/e/B000APINJA</loc></url> <url><loc>http://www.amazon.co.jp/サイモン&ガーファンクル/e/B000AQ2ZUC</loc></url> <url><loc>http://www.amazon.co.jp/スモール・フェイセス/e/B000APV7OI</loc></url> <url><loc>http://www.amazon.co.jp/ソニック・ユース/e/B000APXIMC</loc></url> <url><loc>http://www.amazon.co.jp/ステレオラブ/e/B000APBNCO</loc></url> <url><loc>http://www.amazon.co.jp/スティング/e/B000APVN7O</loc></url> <url><loc>http://www.amazon.co.jp/T.REX/e/B000AQ2DUY</loc></url> <url><loc>http://www.amazon.co.jp/トーキング・ヘッズ/e/B000APZRMQ</loc></url> <url><loc>http://www.amazon.co.jp/オールマン・ブラザース・バンド/e/B000APWJLI</loc></url> <url><loc>http://www.amazon.co.jp/ザ・バンド/e/B000APV96Y</loc></url> <url><loc>http://www.amazon.co.jp/ザ・ビーチ・ボーイズ/e/B000APTGZ0</loc></url> <url><loc>http://www.amazon.co.jp/ザ・ビートルズ/e/B000APTK6K</loc></url> <url><loc>http://www.amazon.co.jp/ケミカル・ブラザーズ/e/B000AQ22AU</loc></url> <url><loc>http://www.amazon.co.jp/ザ・クラッシュ/e/B000APF3RK</loc></url> <url><loc>http://www.amazon.co.jp/ザ・ドアーズ/e/B000APF3U2</loc></url> <url><loc>http://www.amazon.co.jp/ザ・ジャム/e/B000AQ0AZ4</loc></url> <url><loc>http://www.amazon.co.jp/キンクス/e/B000APYNRG</loc></url> <url><loc>http://www.amazon.co.jp/ザ・ローリング・ストーンズ/e/B000APYW40</loc></url> <url><loc>http://www.amazon.co.jp/セックス・ピストルズ/e/B000APTMPO</loc></url> <url><loc>http://www.amazon.co.jp/スマッシング・パンプキンズ/e/B000APVMWK</loc></url> <url><loc>http://www.amazon.co.jp/ザ・スミス/e/B000ARA0TE</loc></url> <url><loc>http://www.amazon.co.jp/スペシャルズ/e/B000APTN2G</loc></url> <url><loc>http://www.amazon.co.jp/ザ・ストーン・ローゼズ/e/B000APTKYM</loc></url> <url><loc>http://www.amazon.co.jp/ザ・バーブ/e/B000AQ4JQA</loc></url> <url><loc>http://www.amazon.co.jp/ザ・ホワイト・ストライプス/e/B000APOAGA</loc></url> <url><loc>http://www.amazon.co.jp/ザ・フー/e/B000APYN9Y</loc></url> <url><loc>http://www.amazon.co.jp/トム・ウェイツ/e/B000APAB9U</loc></url> <url><loc>http://www.amazon.co.jp/トータス/e/B000AQ47W6</loc></url> <url><loc>http://www.amazon.co.jp/U2/e/B000APTGBO</loc></url> <url><loc>http://www.amazon.co.jp/ヴァン・モリソン/e/B000APRGTI</loc></url> <url><loc>http://www.amazon.co.jp/ベルベット・アンダーグラウンド/e/B000APWJSG</loc></url> <url><loc>http://www.amazon.co.jp/ウィーザー/e/B000APYT4S</loc></url> <url><loc>http://www.amazon.co.jp/ウィルコ/e/B000AQ396G</loc></url> <url><loc>http://www.amazon.co.jp/イエス/e/B000APWVSY</loc></url> </urlset>



sitemap_index_s.xml
これは、いまいち目的がわからないけど、検索結果ページのURLを集合体。
闇雲に出しているわけではなさそう (検索結果ページってほぼ無限にあるから、その中からわざわざクローラーに見せようとしているからには何か意味があるはず) なんだけど、出力条件と目的が見えないんだよな・・・「カテゴリ絞り込み+数字でのフリーワード検索」みたいなのの羅列。。。アクセス数の多い検索結果とかかなあ・・・
中身みたい方は、http://www.amazon.co.jp/sitemap_s_0001.xmlあたりを見てくださいな。



sitemap_mobile_dp_index.xml
mobileとあるので、携帯サイトですね。
意外とシンプルな構成・・・。まだまだ発展途上な感じがするので、あまり参考にはならないかも。




■他の大手サイトrobots.txt

・・・を書こうと思ったんだけど、もう疲れたwのでxサラっと。


■ツイッター ( http://twitter.com/robots.txt )
XMLサイトマップはなし。
サーバ負荷が大き目だからか Crawl-delay をキッチリ入れているところが渋いw
大手三社のクローラーと、それ以外でDisallowしてる範囲が違う。
User-agent: 　だけに　Disallow: /oauth　かけてるとか。


■Google ( http://www.google.co.jp/robots.txt )
上の方でも書いたけど、サイトマップインデックスファイルを
Sitemap: http://www.google.com/hostednews/sitemap_index.xml
って普通に記述してた。

<url>
　　<loc>http://www.google.com/ventures/
　　<priority>0.5</priority>
</url>

<url>
　　<loc>http://www.google.com/ventures/index.html
　　<priority>0.5</priority>
</url>

・・・って、同じものを書いているあたりがGoogleなのにお茶目すぎるだろwww




■Youtube ( http://www.youtube.com/robots.txt )

User-agent: Mediapartners-Google
Disallow:

と、GoogleのAdSense用のクローラーであるMediapartners-Google除けをしておりますです。
うむむ、これ、どういう意味があるんだろ・・・時間あれば調べてみようかな。




■Adobe ( http://www.adobe.com/robots.txt )

のっけから、

# This file is used to allow crawlers to index our site.
#
# List of all web robots: http://www.robotstxt.org/wc/active/html/index.html
#
# Check robots.txt at:
# http://www.searchengineworld.com/cgi-bin/robotcheck.cgi

とか、コメントが書かれていて、ロボットが読むファイルにコメントなんて、Adobeかわいいとか思いますたwww

他にもgsa-crawler-www(たぶんgoogleアプライアンスのクローラー)とか、

# The Omniture search engine can see everything
User-agent: Atomz/1.0

ってオムニチュアのクローラーについて記述されていたりして、珍しいものを見た感じ(だから何ってわけじゃないけどね)




■Yahoo!JAPAN
なんと、ないんです・・・。robots.txtがないんだよー
これって、人間がアクセスできないだけでクローラーからはアクセスできるのかなあと思って、 ユーザーエージェントをクローラーのものにしてアクセスしてみたりしたけど、ダメだった><
ホントにないのかなあ・・・






■まとめ
えー、まあこれはお遊びみたいなもので、robots.txt　とか　XMLサイトマップを見ること自体に意味はないです><
真似しても、そんなに良いことないので注意w