この記事は2年以上前に書かれた記事です。現状にそぐわないかもなのでご注意を。

Googlebot がアクセスできないとか、どゆこと?

sitemap.xml 作成プラグインを導入して依頼、すっかりチェックを怠っていた Google ウェブマスターツールのレポートをのぞいてみました。

ウェブマスターツールがはいたエラー

robots.txt にアクセスできませんできませんでk・・

全てのURLに「robots.txt にアクセスできません」と;;
なぜに???
※もちろん、Wordpress の設定画面の、ボット拒否設定はオフに(全アクセスを受け入れる)ようにしています。

理由はよくわかりませんが、どうやら WordPress の場合、robots.txt で明示的にボットのアクセスを許可しないとダメなようです。。

sitemap.xml 自動生成プラグインの設定画面に、バーチャル robots.txt 作成というチェックがついていて、「なんでこんなのついてるのか・・」と思っていましたがそういう理由だったんですね。
Labrid WP の場合、Wordpressルート=サイトルートではないので、この機能は意味なし=関係なしだと思ってました。

そこで、自分で以下のような robots.txt を作り、サイトルートにアップしておきました。

User-Agent: *
Allow: /
Disallow: /wp/wp-*

Disallow: /wp/wp-* は、管理系のファイルがインデックスされないようにする設定です。
これも、やっていない場合は必ずやっておきましょう。

あとは、この状態で再度レポートが作成されるのを待つばかり。
今度こそ・・・!!

スポンサーリンク