サーチエンジン

セマンティック技術＝コンピューターやサーチエンジンが言葉の意味を理解する技術。

昔のサーチエンジンは・・・

『ホームページ』を検索したら・・『ホームページ』以外のキーワードを全く理解していなかった。

関連する言葉の意味を理解しないので『サーチエンジンスパム』が横行していたともいえる。

Googleは最近特にこのセマンティック技術が進化しているように見受けられる。

→続きを読む：セマンティック技術

robots.txt　をサイトトップのフォルダーにいれてクローラーを正しく導くには？？
【クローラーの巡回を許可するには？】

User-agent: *
Allow: /

備考＝（Allow: /＝許可）

と

User-agent: *
Disallow:

備考＝（Disallow:　＝「アクセス拒否」をする物が無い）

備考＝（Disallow: /　＝「アクセス拒否」＝後ろのスラッシュを入れると拒否になります。）

のどちらが正しいか・・・？

ウェブ屋さんやシステム屋さんは両方使ったり、robots.txtを全く使わなかったりします。

多分どちらも正解ですが一般的には・・

User-agent: *
Allow: /

が正解とするのが一般的でしょう。（自信あり）

なぜなら・・

グーグル様のウェブマスターツールの『クローラのアクセス』の『robots.txt を生成』の項目で生成されるのが

User-agent: *
Allow: /

だからです。

もちろん！

User-agent: *
Disallow:

でも通用します。

が・・・あえてグーグル様の推奨するもの以外を使う必要はないってことで宜しいかと・・

【★ちなみにクローラーの巡回を許可するには】

User-agent: *
Allow:

にししてもグーグルは許可となるみたいです。↓（ウェブマスターツールより引用）

行 2: Allow: によって許可されています ディレクトリとして検出されました。ファイルによっては固有の制限がある可能性があります

でも・・・万一・・クローラーによっては・・Allow:の後ろにスラッシュが無いと＝「アクセス許可」をする物が無いって解釈されかねない？？。
（そんなことはないとは思いますが・・・）

理解なしに入れるとロクなことが無いのでわからない場合には全く入れないほうが良いかもしれません。

でもクローラーがサイトに来て最初に探すのは『robots.txt』なので・・・
本当は正しく入れた方が良いかもです。

すこぶる携帯に疎い私としては・・携帯の検索などは出来れば避けて通りたい（見て見ぬふりをしたい。）のは山々なれど・・

iPhone 4　やら、各社のスマートフォン・多機能携帯の快進撃を見るにPCサイトだけあれば良いというものではないのかも？？

と最近はかなり危機感を持たなくもありません。

でも、携帯がとても嫌いな小生としてはとっつきにくいのも事実なわけで・・((+_+))

→続きを読む：携帯のサーチエンジン？