Blogger: 既定ではGooglebot-Mobileを拒否している!?

このサイトを検索 | Search this site
blogger150x.png
smartphone-error

Google Search Console(以下、Search Console)おいて、このブログの特定の記事がクロールエラーとして記録されるようになりました。

クロールエラーはSearch Consoleの [スマートフォンのブロックセクション] で記録されており、私のブログの robots.txt は Googlebot-Mobile をブロックする設定になっていることを通知するものです。

実際に記録されていたメッセージは次のものです。

Search Console
Googlebot はサイトにアクセスできましたが、特定の URL では robots.txt ファイルでスマートフォン用 Googlebot-Mobile がブロックされています。こうした URL は「ブロックされた URL」レポートには表示されず、意図的にブロックされたものではない可能性があります。


Blogger は Googlebot-Mobile を拒否している

私は Blogger の検索設定のいくつかをカスタマイズして利用しています。

「独自の robots.txt」を有効にして全てのユーザーエージェントを許可する設定にしていますが、Search Console の通知を受けて、Blogger の設定を確認してみました。

いくつかの設定が初期化されていました。(謎)

Blogger > 設定 > 検索設定
  • カスタム 404 ページ [無効]
  • 独自の robots.txt [無効]
  • カスタム ads.txt [無効]

BloggerはGooglebot-Mobileを拒否?

独自の robots.txt が無効化されてわかったことは、Blogger は Googlebot-Mobile を拒否(Disallow)しているということです。

原因が判明したので、Blogger の独自の robots.txt を有効にしました。

記述したのは次の通りです。

独自の robots.txt
User-agent:*
Disallow:
Sitemap: https://kzstock.blogspot.com/sitemap.xml

"User-agent:*" は全てのクローラーを受け入れるという意味になります。

Blogger の初期設定は Disallow: /*archive となっていますが、Disallow: に変更しています。

robots.txt についての記事

[Blogger] robots.txtをインデックスカバレッジに対応させる方法

Google Search Console からメールを受信しました。 [キーワード] Search Console インデックスカバレッジ Google検索結果で悪影響を受ける可能性 robots....

Googlebot, Googlebot-Mobile について

Googlebot, Googlebot-Mobile は、グーグルのクローラーが使用しているUser-Agentの名前です。(ユーザーエージェント)

クローラーはロボット型検索エンジンのことです。

[クローラー]
  1. ウェブサイトを巡回
  2. コンテンツ情報を収集
  3. 収集したデータをインデックス化
  4. 検索用データベースを作成

Googlebot, Googlebot-Mobile がユーザーエージェントであることを知らないと、Search Consoleの通知の意味が理解できないので対処方法もわからないですね。

あとがき

Official Google Webmaster Central Blog (Thursday, January 23, 2014) によると、Google-bot  のユーザーエージェント Googlebot-Mobile は 2014年1月頃に使い方が整理されました。

整理される前の Googlebot-Mobile はスマートフォン用 User-Agent として使用されていましたが、現在は次のように棲み分けされています。

User-Agent用途
GooglebotPC、スマートフォン
Googlebot-Mobileフィーチャーフォン

フィーチャーフォンは、従来型携帯電話いわゆるガラケーと呼称されている携帯電話を指します。

そして、フィーチャーフォンの User-Agent は Docomo または Sumsung の携帯電話データーが使用されています。

Docomo の User-Agent は N905i が使用されています。
Googlebot-Mobile/Docomo
DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

Sumsung は SGH-E250 が使用されています。
Googlebot-Mobile/SGH-E250
SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

Search Console ヘルプでは Googlebot-Mobile の記載がないので、将来的に廃止されるのでしょうか?(外部リンク参照:Search Console ヘルプ)

話が脱線しますが、Google Chrome 拡張機能 Chrome UA Spoofer を利用するとブラウザの User-Agent を変更できるようになります。

興味のある方は User-Agent に関する記事をお読みください。

SC2
Windowsランキング 将棋ランキング スマホ・携帯ランキング にほんブログ村 IT技術ブログ ライフハックへ にほんブログ村 その他趣味ブログ 将棋へ

このサイトを検索 | Search this site