ロボットテキスト（robots.txt）

robots.txt　をサイトトップのフォルダーにいれてクローラーを正しく導くには？？
【クローラーの巡回を許可するには？】

User-agent: *
Allow: /

備考＝（Allow: /＝許可）

と

User-agent: *
Disallow:

備考＝（Disallow:　＝「アクセス拒否」をする物が無い）

備考＝（Disallow: /　＝「アクセス拒否」＝後ろのスラッシュを入れると拒否になります。）

のどちらが正しいか・・・？

ウェブ屋さんやシステム屋さんは両方使ったり、robots.txtを全く使わなかったりします。

多分どちらも正解ですが一般的には・・

User-agent: *
Allow: /

が正解とするのが一般的でしょう。（自信あり）

なぜなら・・

グーグル様のウェブマスターツールの『クローラのアクセス』の『robots.txt を生成』の項目で生成されるのが

User-agent: *
Allow: /

だからです。

もちろん！

User-agent: *
Disallow:

でも通用します。

が・・・あえてグーグル様の推奨するもの以外を使う必要はないってことで宜しいかと・・

【★ちなみにクローラーの巡回を許可するには】

User-agent: *
Allow:

にししてもグーグルは許可となるみたいです。↓（ウェブマスターツールより引用）

行 2: Allow: によって許可されています ディレクトリとして検出されました。ファイルによっては固有の制限がある可能性があります

でも・・・万一・・クローラーによっては・・Allow:の後ろにスラッシュが無いと＝「アクセス許可」をする物が無いって解釈されかねない？？。
（そんなことはないとは思いますが・・・）

理解なしに入れるとロクなことが無いのでわからない場合には全く入れないほうが良いかもしれません。

でもクローラーがサイトに来て最初に探すのは『robots.txt』なので・・・
本当は正しく入れた方が良いかもです。