SEOにおけるベストプラクティスとは？robots.txt(ロボットテキスト)ファイルの正しい使い方

ウェブサイトのSEOにおいて、ロボットテキストファイルは物凄いツールですが、取り扱いには注意が必要です。
 
 
このツールによって、検索エンジンが異なるファイルやフォルダーにアクセスするのを拒否することができます。しかし、これはウェブサイトを最適化するのに、最も良い方法という訳ではありません。ここでは、ウェブマスターがどのようにロボットテキストファイルを使用すべきかを、説明しようと思います。また、ほとんどのウェブサイトにとっての“ベストプラクティス”を提案します。
 
 
この下の更に下にある、WordPress Webサイトの大部分で機能するrobots.txtの例をご紹介します。
 
 
“ベストプラクティス”とは何ですか？
 
 
検索エンジンは、ウェブサイトやインデックスを回りながら、改善を続けています。これは、数年前にベストプラクティスだったものが機能しなくなったり、サイトに損害を与えたりする可能性があるということです。
 
 
現在のベストプラクティスとは、ロボットテキストにできるだけ頼らない、ということです。実際に、複雑な技術的変更（例：ファセットナビゲーションを備えた大規模なeコマースWebサイト）をした時や他のオプションがない時には、ロボットテキストファイルのURLをブロックする必要があります。
 
 
ロボットテキストを通したURLをブロッ

リンク元