Google Search Console(以下、Search Console)おいて、このブログの特定の記事がクロールエラーとして記録されるようになりました。
クロールエラーはSearch Consoleの [スマートフォンのブロックセクション] で記録されており、私のブログの robots.txt は Googlebot-Mobile をブロックする設定になっていることを通知するものです。
実際に記録されていたメッセージは次のものです。
Search Console
Googlebot はサイトにアクセスできましたが、特定の URL では robots.txt ファイルでスマートフォン用 Googlebot-Mobile がブロックされています。こうした URL は「ブロックされた URL」レポートには表示されず、意図的にブロックされたものではない可能性があります。Blogger は Googlebot-Mobile を拒否している
私は Blogger の検索設定のいくつかをカスタマイズして利用しています。「独自の robots.txt」を有効にして全てのユーザーエージェントを許可する設定にしていますが、Search Console の通知を受けて、Blogger の設定を確認してみました。
いくつかの設定が初期化されていました。(謎)
Blogger > 設定 > 検索設定
- カスタム 404 ページ [無効]
- 独自の robots.txt [無効]
- カスタム ads.txt [無効]
BloggerはGooglebot-Mobileを拒否?
独自の robots.txt が無効化されてわかったことは、Blogger は Googlebot-Mobile を拒否(Disallow)しているということです。原因が判明したので、Blogger の独自の robots.txt を有効にしました。
記述したのは次の通りです。
独自の robots.txt
User-agent:*Disallow:
Sitemap: https://kzstock.blogspot.com/sitemap.xml
"User-agent:*" は全てのクローラーを受け入れるという意味になります。
Blogger の初期設定は Disallow: /*archive となっていますが、Disallow: に変更しています。
robots.txt についての記事
[Blogger] robots.txtをインデックスカバレッジに対応させる方法
Google Search Console からメールを受信しました。 [キーワード] Search Console インデックスカバレッジ Google検索結果で悪影響を受ける可能性 robots....
Googlebot, Googlebot-Mobile について
Googlebot, Googlebot-Mobile は、グーグルのクローラーが使用しているUser-Agentの名前です。(ユーザーエージェント)クローラーはロボット型検索エンジンのことです。
[クローラー]
- ウェブサイトを巡回
- コンテンツ情報を収集
- 収集したデータをインデックス化
- 検索用データベースを作成
Googlebot, Googlebot-Mobile がユーザーエージェントであることを知らないと、Search Consoleの通知の意味が理解できないので対処方法もわからないですね。
あとがき
Official Google Webmaster Central Blog (Thursday, January 23, 2014) によると、Google-bot のユーザーエージェント Googlebot-Mobile は 2014年1月頃に使い方が整理されました。整理される前の Googlebot-Mobile はスマートフォン用 User-Agent として使用されていましたが、現在は次のように棲み分けされています。
User-Agent | 用途 |
Googlebot | PC、スマートフォン |
Googlebot-Mobile | フィーチャーフォン |
フィーチャーフォンは、従来型携帯電話いわゆるガラケーと呼称されている携帯電話を指します。
そして、フィーチャーフォンの User-Agent は Docomo または Sumsung の携帯電話データーが使用されています。
Docomo の User-Agent は N905i が使用されています。
Googlebot-Mobile/Docomo
DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)Sumsung は SGH-E250 が使用されています。
Googlebot-Mobile/SGH-E250
SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)Search Console ヘルプでは Googlebot-Mobile の記載がないので、将来的に廃止されるのでしょうか?(外部リンク参照:Search Console ヘルプ)
話が脱線しますが、Google Chrome 拡張機能 Chrome UA Spoofer を利用するとブラウザの User-Agent を変更できるようになります。
興味のある方は User-Agent に関する記事をお読みください。
External link
:SC2
このサイトを検索 | Search this site