[Blogger] robots.txtをインデックスカバレッジに対応させる方法

SC2 2018-02-23

2021-09-09

Atom | RSS

このサイトを検索 | Search this site

Google Search Console からメールを受信しました。

[メールに記載されたキーワード]

Search Console
インデックスカバレッジ
Google検索結果で悪影響を受ける可能性
robots.txtによりブロックされたがインデックスに登録した

...(o|o)

インデックスカバレッジ、robots.txt、...？？？

インデックスカバレッジ

Google Search Consoleに記録された「インデックスカバレッジ」を転載します。

Google Search Console

サイト https://kzstock.blogspot.com/ で「インデックスカバレッジ」の問題が新たに検出されました

https://kzstock.blogspot.com/ の所有者様

Search Console により、貴サイトに影響する「インデックスカバレッジ」関連の問題が新たに 1 件検出されました。「インデックスカバレッジ」は Google 検索結果で悪影響を受ける可能性がございます。この問題をご確認のうえ、修正することをご検討ください。

新たに検出された問題:
robots.txt によりブロックされましたが、インデックスに登録しました

Googleのクローラーは何でもインデックスするのか？

「robots.txt によりブロックされましたが、インデックスに登録しました。」

このブログのrobots.txtはGoogleのクローラーを弾く設定になっていました。

Bloggerの設定はいじってないので、Bloggerのデフォルト設定がそのようになっていたということです。

Googleさんは自分のブログサービスをブロックしつつインデックス化していました。

謎の仕様です...？

修正項目

robots.txtを無視してインデックスされていることがわかったので修正はムダだと思われますが、エラーを見たくないので修正にチャレンジしました。

[修正したファイル]

独自の robots.txt
カスタム ads.txt

独自の robots.txt

Blogger > 設定 > 検索設定 > 独自の robots.txt

Search Console によると /search/label/xxx.html のコンテンツにクローラがアクセスできないと駄々をこねています。

そこで、
「独自の robots.txt」に以下の記述を追加しました。

User-agent:*
Allow: /search/label/
Disallow: /*archive
Sitemap: https://kzstock.blogspot.com/feeds/posts/default?orderby=UPDATED
Sitemap: https://kzstock.blogspot.com/sitemap.xml

以下は任意です。（たぶん不要）

Sitemap: https://kzstock.blogspot.com/feeds/posts/default?orderby=UPDATED

sitemap.xmlをSearch Consoleから登録する

robots.txt に sitemap.xml を追記した場合は Search Console にログインして sitemap.xmlを登録しておくとSEOに効果があるそうです。（Bloggerは自動で登録している？）

Search Console > クロール > サイトマップ > サイトマップの追加／テスト

sitemap.xml と入力して送信をクリックする。

自分のBloggerサイトにsitemap.xmlが自動生成されているかを確認するには、以下のアドレスにアクセスします。

accountNameは自分のBloggerのアカウント名です。

https://accountName.blogspot.com/sitemap.xml

カスタム ads.txt

この項目は編集する必要はありませんが Google アドセンスを不正利用されないよう設定してみました。

出典：自サイトの広告枠の認定販売者を ads.txt で宣言する - アドセンスヘルプ

Google を自サイトの広告枠の認定販売者として宣言する場合、次のように ads.txt を作成します。

テキストファイル（.txt）を作成します。
ファイル内に次の 1 行を含めます。
google.com, pub-0000000000000000, DIRECT, f08c47fec0942fa0

重要: 「pub-0000000000000000」の部分はご自分のサイト運営者 ID に置き換えてください。