2010年10月の記事一覧

ロボットテキスト(robots.txt)

robots.txt をサイトトップのフォルダーにいれてクローラーを正しく導くには??
【クローラーの巡回を許可するには?】

User-agent: *
Allow: /

備考=(Allow: /=許可)

User-agent: *
Disallow:

備考=(Disallow: =「アクセス拒否」をする物が無い)

備考=(Disallow: / =「アクセス拒否」=後ろのスラッシュを入れると拒否になります。)


のどちらが正しいか・・・?

ウェブ屋さんやシステム屋さんは両方使ったり、robots.txtを全く使わなかったりします。

多分どちらも正解ですが一般的には・・

User-agent: *
Allow: /

が正解とするのが一般的でしょう。(自信あり)

なぜなら・・

グーグル様のウェブマスターツールの『クローラのアクセス』の『robots.txt を生成』の項目で生成されるのが

User-agent: *
Allow: /

だからです。

もちろん!

User-agent: *
Disallow:

でも通用します。

が・・・あえてグーグル様の推奨するもの以外を使う必要はないってことで宜しいかと・・

【★ちなみにクローラーの巡回を許可するには】

User-agent: *
Allow:

にししてもグーグルは許可となるみたいです。↓(ウェブマスターツールより引用)

行 2: Allow: によって許可されています ディレクトリとして検出されました。ファイルによっては固有の制限がある可能性があります

でも・・・万一・・クローラーによっては・・Allow:の後ろにスラッシュが無いと=「アクセス許可」をする物が無いって解釈されかねない??。
(そんなことはないとは思いますが・・・)

理解なしに入れるとロクなことが無いのでわからない場合には全く入れないほうが良いかもしれません。

でもクローラーがサイトに来て最初に探すのは『robots.txt』なので・・・
本当は正しく入れた方が良いかもです。


はてなブックマークに追加 Google Bookmarks livedoorクリップに追加 ニフティクリップに追加 Buzzurlに追加 Yahoo!ブックマークに追加 つぶやく

2010年10月30日|

カテゴリー:サーチエンジン

MT Regex Plugin で正規表現を使う

MT Regex Plugin で正規表現を使う

MT Regex Plugin は正規表現による条件分岐や変換など、様々なカスタマイズが可能になる高機能プラグイン。

はてなブックマークに追加 Google Bookmarks livedoorクリップに追加 ニフティクリップに追加 Buzzurlに追加 Yahoo!ブックマークに追加 つぶやく

2010年10月 4日|

カテゴリー:MT, MTOS