クロールバジェットとは？クロールの頻度を上げる方法をご紹介！

内部施策・SEO周辺技術
2023-3-4
更新日: 2024-7-19
yuta.tanaka

TanakaYuta SEO Div. コンサルタント

現在までに100社以上のSEO対策に従事し、様々なジャンル・キーワードで上位表示を実現。薬機法管理者の資格を有しているいること、SEOライターとして自身でもライティングができることから、広告表現が難しい医療・美容・健康を得意領域としている。「成分名」や「〇〇効果」などの難関キーワードでの上位表示実績多数。SNSでの情報発信にも力を入れており、約10,000名のフォロワーを獲得している。

執筆者の投稿をみる

クロールバジェット（Crawl budget）とは、Googlebot（クローラー）が1つのWebサイトに対して、クロールできる上限を指す言葉です。記事が検索結果に表示されるには、クロール及びインデックスしてもらう必要がありますが、最適化が行われていないとクロールしてもらうことができません。

本記事では、クロールバジェットの概要や、クロールに対して影響する要素を解説します。コンテンツを適切に評価してもらうためにも、ぜひ参考にしてください。

1 クロールバジェットとは？
2 大規模サイトはクロールバジェットの影響を受けやすい
3 クロールの割当に対して影響する要素（要因）
4 クロールの最適化を行うためには
5 Webサイトのクロール頻度を確認する方法
6 まとめ

クロールバジェットとは？

クロールバジェット（Crawl budget）とは、Googlebot（クローラー）が1つのWebサイトに対して、クロールできる上限を指す言葉です。

新しく作成されたWebサイトやWebページがインターネットで検索結果に表示されるためには、Googlebotにクロール（巡回＆発見）してもらい、インデックス（データベースに登録）される必要があります。

しかし、Googlebotも無限にクロールできるわけではなく、能力に上限があります。これを「クロールバジェット」と呼び、「クロールに割り当て枠がある」という考え方がGoogleの外部で浸透していきました。

これに対し、Googleは公式サイトである「Google 検索セントラルブログ」にて、クロールバジェットを下記のように定義づけています。

クロールの割り当ては、Googlebot によるクロールが可能であり、かつクロールが必要な URL の数であると定義できます。

引用：Google検索セントラル

Googlebotがどれだけクロール可能かは、サイトの応答速度によってクロールの同時接続数が左右され、それによってクロールの性能が変動します。またWebサイトの所有者がクロールの性能に制限をかけることもできます。

クロールが必要なURLかどうかは、URLのインターネット上の人気度や

古さ（古すぎてURLが無効にならないために）によって判断されます。

つまり、クロールバジェットはサイトの応答速度や人気度・古さなど、全体的な要素によって決まるというわけです。

大規模サイトはクロールバジェットの影響を受けやすい

クロールバジェットは、大規模なサイトやURLがパラメータを使用して、ページを自動生成するサイトが影響を受けやすくなっています。

なぜなら、クロールバジェットは1つのWebサイトに対してクロールできる上限のことなので、Googlebotがクロールできる上限に近いような、数多くのURLを抱えているサイトは、必然的に影響を受けやすくなります。

逆に、サイトのURLが数千もない場合は、クロールバジェットについて気にする必要はありません。

この事については、下記のようにGoogleの公式サイトに明記されています。

サイトの URL が数千もない場合、そのサイトのクロールはたいてい効率的に行われます。クロールの対象やタイミング、また、サイトをホストしているサーバーでクロールに割り当て可能なリソースの量に優先順位を付けることが特に重要となるのは、大規模なサイトや、たとえば URL パラメータを使用してページを自動生成するサイトの場合です。

引用：Google検索セントラル

そのため、数十～数百記事のホームページや個人ブログを運営している方は、クロールバジェットについて考える必要はありません。

クロールの最適化を含めた大規模サイトにおけるSEO対策については、以下の記事で詳しく解説していますので、興味のある方はぜひご覧ください。

>>データベース型サイトのSEO対策成功ポイント10選！対策の流れと事例紹介

>>【NG例付き】EC・不動産・求人サイト運用者必見！プロが語る大規模サイトSEO

クロールの割当に対して影響する要素（要因）

先ほど「サイトのURLが数千もない場合、そのサイトのクロールはたいてい効率的に行われます。」といったGoogleの公式発言を紹介しました。

しかし逆を言えば、サイトのURLが数千ある場合、サイトのクロールが効率的に行われていない可能性があるわけです。この場合、クロールの割り当てに悪影響を及ぼす要因を取り除いていくことが重要です。

では、クロールの割り当てに影響する要因は何なのか、Googleは公式サイトでこのように発言しています。

Google の分析によると、サイトに価値の低い URL が多数ある場合、そのサイトのクロールやインデックス登録に悪影響が及ぶ可能性があります。価値の低い URL は、重要度順に次のようなカテゴリに分けられます。

ファセットナビゲーションとセッション ID
サイト内の重複コンテンツ
ソフトエラーページ
ハッキングされたページ
無限のスペースとプロキシ
質の低いコンテンツやスパムコンテンツ

このようなページでサーバーのリソースが浪費されると、実際に価値のあるページのクロールの妨げとなるため、サイト上の優れたコンテンツの発見に大幅な遅れを引き起こしかねません。

引用：Google検索セントラル

ファセットナビゲーションやセッションIDは、システム的に重複コンテンツを持つURLを生成する仕組みです。

また無限のスペースは、「翌月」リンクのあるカレンダーで、「翌月」を押した先のカレンダーの「翌月」リンクのように、無限にURLが増えてしまうことを指します。

このように、サイトに価値の低いURLを多数生成してしまう仕組みや、重複コンテンツなど価値の低いURLそのものが、クロールの割り当てに悪影響を及ぼします。

そのため、できるだけ質の高いコンテンツだけでサイトを構成することがサイトのクロールを効率的に行う鍵となります。

続いて、クロールを効率的に行わせるための「クロールの最適化」の方法について具体的に解説します。

クロールの最適化を行うためには

クロールの最適化を行うための方法は下記のとおりです

XMLサイトマップの更新
クロールのさせる必要ないページの削除
robots.txtで除外する
低品質なコンテンツを改善する
ステータスコード404・410エラーの修正

それぞれ解説します。

XMLサイトマップの更新

クロールの最適化を行う方法の1つ目は、XMLサイトマップを更新することです。

サイトマップとは、Webサイト全体の地図のようなものです。サイト全体の構成をわかりやすく伝えるために設置されます。

サイトマップはHTMLとXMLの2種類に分けられ、HTMLは人間向け、XMLはクローラー（Googlebot）向けになっています。

XMLサイトマップは、WordPressのプラグイン「XML Sitemap Generator for WordPress」やオンライン無料ツール「Sitemap Creator」などを使用することで作成できます。

また、Google Search Consoleに作成したサイトマップを再送信することで、XMLサイトマップを最新の情報に更新することができます。

「Sitemap Creator」であれば、サイトマップの自動作成・更新を行うことができます。

クロールさせる必要ないページの削除

クロールの最適化を行う方法の2つ目は、クロールさせる必要のないページの削除をすることです。

先ほども紹介したように、低品質や重複コンテンツなど、価値の低いURLはクロールの割り当てに悪影響を及ぼします。

価値の低いURLと判定され、クロールの割り当てに悪影響を及ぼすリスクを削減するため、クロールさせる必要がないのであれば、ページの削除を行いましょう。

robots.txtで除外する

クロールの最適化を行う方法の3つ目は、クロールの割り当てに悪影響を及ぼす可能性があるURLをrobots.txtで除外することです。

これについては、Googleの公式サイトでも下記のように明記されています。

robots.txt で許可していないURL もクロールの割り当てに影響しますか？

いいえ。許可されていないURL はクロールの割り当てには影響しません。

引用：Google検索セントラル

クロールさせる必要ないページの削除と同じように、価値の低いURLと判断されて、クロールの割り当てに悪影響を及ぼすリスクを減らすため、クロールさせる必要がないのであれば、robots.txtで除外設定をしましょう。

robots.txtの書き方や設定方法については、下記をご覧ください。

_robots.txt の書き方、設定と送信（Google検索セントラル）

低品質なコンテンツを改善する

クロールの最適化を行う方法の4つ目は、低品質なコンテンツを改善することです。低品質なコンテンツは、クロールの割り当てに悪影響を及ぼします。ページを削除したり、robots.txtでクロールの対象から除外することで対策ができますが、そういった対策がとれない場合は、コンテンツそのものを改善する必要があります。

人気のコンテンツにすることができれば、クロールの割り当てに好影響を与え、クロールの効率を上げることができます。