URLがrobots.txtによってブロックされています (Google Search Console)

SC2 2018-09-07

2021-09-09

このサイトを検索 | Search this site

URLがrobots.txtによってブロックされています (Google Search Console)

対象：Google Blogger ユーザー

Google Search Console のサイトマップに警告が2件記録されていたので、警告の詳細（サイトマップインデックス）を確認したところ、以下のコメントが見つかりました。

コメント内容から robots.txt の記述に問題があることがわかったので、警告が記録されないよう修復した手順をメモに残します。

サイトマップインデックス
問題	URL が robots.txt によってブロックされています。
説明	サイトマップには robots.txt によってブロックされている URL が含まれています。
例	サイトマップ: kzstock.blogspot.com/sitemap.xml?page=1 値: https://kzstock.blogspot.com/2018/09/internet-archive-legal-evidence.html

問題の原因を特定することはできたが修復方法が・・・？

サイトマップインデックスのコメントから robots.txt の以下の記述がクロールエラーを引き起こしていることがわかりました。

Disallow: /*archive

上記の記述は過去にrobots.txtを更新した時に追記したものだと思われます。
よく覚えてない。

Blogger の robots.txt を修正するために情報収集をする過程で、Bloggerユーザーは漏れなく Disallow: /*archive を設定していることがわかったので、私もそれに倣って意味も調べずに設定したような記憶です。

Disallow: /*archive の意味

クロールエラーを引き起こした Disallow: /*archive の意味を調べました。

そして、次のことがわかりました。
朝日新聞やテレビ朝日がやっていたような、検索エンジンから隠れる設定になっていました。

具体的には、当方のBloggerの投稿記事のURLに [archive] という文字が含まれていた場合、検索エンジンがインデックスすることを拒否する設定になっていました。

具体的には以下のURLです。

タイトル：ウェイバックマシン (Wayback Machine／Internet Archive) は証拠能力があると米国司法が判断
https://kzstock.blogspot.com/2018/09/internet-archive-legal-evidence.html

Disallow: /*archive を修正する方法

Blogger > 設定 > 検索設定 > 独自の robots.txt > 編集

警告が記録されないように、そして、投稿した記事がGoogleにインデックスされるように、"Disallow: /*archive" の記述を見直しました。

ここで躓きました。

Google Search Console から修正を試みたのが間違いでした。

Bloggerの robots.txt は管理画面から修正しなければなりません。