Blogger: 既定ではGooglebot-Mobileを拒否している！？

SC2 2019-02-18

2021-09-09

このサイトを検索 | Search this site

Google Search Console（以下、Search Console）おいて、このブログの特定の記事がクロールエラーとして記録されるようになりました。

クロールエラーはSearch Consoleの [スマートフォンのブロックセクション] で記録されており、私のブログの robots.txt は Googlebot-Mobile をブロックする設定になっていることを通知するものです。

実際に記録されていたメッセージは次のものです。

Search Console

Googlebot はサイトにアクセスできましたが、特定の URL では robots.txt ファイルでスマートフォン用 Googlebot-Mobile がブロックされています。こうした URL は「ブロックされた URL」レポートには表示されず、意図的にブロックされたものではない可能性があります。

Blogger は Googlebot-Mobile を拒否している

私は Blogger の検索設定のいくつかをカスタマイズして利用しています。

「独自の robots.txt」を有効にして全てのユーザーエージェントを許可する設定にしていますが、Search Console の通知を受けて、Blogger の設定を確認してみました。

いくつかの設定が初期化されていました。（謎）

Blogger > 設定 > 検索設定

カスタム 404 ページ [無効]
独自の robots.txt [無効]
カスタム ads.txt [無効]

BloggerはGooglebot-Mobileを拒否？

独自の robots.txt が無効化されてわかったことは、Blogger は Googlebot-Mobile を拒否（Disallow）しているということです。

原因が判明したので、Blogger の独自の robots.txt を有効にしました。

記述したのは次の通りです。

独自の robots.txt

User-agent:*
Disallow:
Sitemap: https://kzstock.blogspot.com/sitemap.xml

"User-agent:*" は全てのクローラーを受け入れるという意味になります。

Blogger の初期設定は Disallow: /*archive となっていますが、Disallow: に変更しています。

robots.txt についての記事

[Blogger] robots.txtをインデックスカバレッジに対応させる方法

Google Search Console からメールを受信しました。 [キーワード] Search Console インデックスカバレッジ Google検索結果で悪影響を受ける可能性 robots....

Googlebot, Googlebot-Mobile について

Googlebot, Googlebot-Mobile は、グーグルのクローラーが使用しているUser-Agentの名前です。（ユーザーエージェント）

クローラーはロボット型検索エンジンのことです。

[クローラー]

ウェブサイトを巡回
コンテンツ情報を収集
収集したデータをインデックス化
検索用データベースを作成

Googlebot, Googlebot-Mobile がユーザーエージェントであることを知らないと、Search Consoleの通知の意味が理解できないので対処方法もわからないですね。

あとがき

Official Google Webmaster Central Blog (Thursday, January 23, 2014) によると、Google-bot のユーザーエージェント Googlebot-Mobile は 2014年1月頃に使い方が整理されました。

整理される前の Googlebot-Mobile はスマートフォン用 User-Agent として使用されていましたが、現在は次のように棲み分けされています。


User-Agent	用途
Googlebot	PC、スマートフォン
Googlebot-Mobile	フィーチャーフォン

フィーチャーフォンは、従来型携帯電話いわゆるガラケーと呼称されている携帯電話を指します。

そして、フィーチャーフォンの User-Agent は Docomo または Sumsung の携帯電話データーが使用されています。

Docomo の User-Agent は N905i が使用されています。

Googlebot-Mobile／Docomo

DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

Sumsung は SGH-E250 が使用されています。

Googlebot-Mobile／SGH-E250

SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

Search Console ヘルプでは Googlebot-Mobile の記載がないので、将来的に廃止されるのでしょうか？（外部リンク参照：Search Console ヘルプ）

話が脱線しますが、Google Chrome 拡張機能 Chrome UA Spoofer を利用するとブラウザの User-Agent を変更できるようになります。

興味のある方は User-Agent に関する記事をお読みください。

External link

SC2