クローラーとは

検索エンジンがWebサイトの情報を収集するために使うロボットを「クローラー」といいます。検索エンジンのデータベースには、世界中にあるWebサイトの情報が集められ保管されています。そしてユーザーが検索した言葉をもとに、そのデータベースの中から最適な検索結果を表示するのです。検索エンジンのデータベースに登録、つまり検索エンジンに認識されていなければ、自分のサイトに検索順位がつくことはありません。今回は、そのクローラーについて詳しくお教えしたいと思います。

クロール・クローラーとは

「クローラー」とは、世界中のサーバーからWebサイトの情報を収集するもので、集めた情報をデータベースに保管することを「インデックス」といいます。また、クローラーがWebサイトを巡回することを『クロールする』と表現します。

クローラーは、インターネット上にあるWebサイトであれば可能な限り情報を収集しようとします。しかし作成、公開して間もないページだと、なかなかクローラーに見つけてもらえず、最初のインデックスまでに時間がかかってしまう場合があります。

その場合には、クローラーが見つけやすくなるようにページを最適化することで、早い段階でインデックスされることができるのです。クローラーにとってサイトへの辿り着きやすさ、および周回のしやすさのことを「クローラビリティ」といいます。クローラビリティについては後述します。

インデックスに関する解説記事はこちら

検索エンジンの仕組み

インターネットの黎明期では、人の手を駆使してWebサイトの情報を集め、カテゴリーを分類する「ディレクトリ型」が主流でした。しかし現代では、Googleのロボット（クローラー）を中心とする「ロボット型」の検索エンジンへと進化しています。ロボット型の検索エンジンには、下記3つのプログラムが存在します。

• データベース化するクローラープログラム
• 情報をランキング化するプログラム
• 検索順位を決定するプログラム

上記を基に検索結果に記事がインデックスされ、ユーザーの目に届くようになっているのが検索エンジンの仕組みです。

クローラーの種類

クローラーと一口に言っても、さまざまなクローラーが存在します。ここでは、クローラーの種類を順番に解説します。

Googlebot

Googleが使用するクローラーは「Googlebot」といいます。

日本ではGoogleとYahooのユーザーが大半を占めていますが、Yahoo! JAPANはGoogleの検索エンジンを利用しているため、検索エンジンのシェアとしては9割以上を占めています。そのため、日本においてはこのGooglebotだけを意識しておけば問題ありません。

その他のクローラー

• Yahoo Slurp：日本（Yahoo! JAPAN）以外のYahooが使用するクローラー
• bingbot：Bingが使用するクローラー
• Baiduspider：Baidu（中国の検索エンジン）が使用するクローラー

クローラビリティとは

クローラーにとってのサイトへのアクセス、周回のしやすさのことを「クローラビリティ」と言います。クローラーにサイトを正しく認識されなければSEO対策の意味がなくなってしまうため、クローラビリティの改善はSEO上必須のタスクと言えます。

クローラーはサイトのHTMLファイルなどを巡って情報を収集しますが、もちろん人間ではないため、画像が表す意味やテキストの意味などを柔軟に理解することはできません。HTMLファイルから情報を読み込んで解析し、サイト構造を読んでいます。そのため、まず前提としてファイルを適切に書いたうえで、さらに改善をしていくことが望ましいです。

クローラーの重要性とは

ここまで解説した内容と重複する部分もありますが、クローラーはSEOで重要な役割を果たします。クローラーは、1回の訪問ですべての情報を持ち帰るわけではありません。1つのWebサイトに対して複数回にわたって訪問し、情報を持ち帰る仕組みとなっています。

そのためには、クローラーが理解しやすいサイト構造やコンテンツである必要があります。加えて、ユーザーにとって有益な情報を提供することを目的としているため、品質の低いコンテンツは評価されません。

つまり、SEOの評価を最大化するためには、前提としてクローラーに見つけてもらうこと、品質の高いコンテンツを用意することの2点が重要です。

クローラーが対象にしているファイルは？

クローラーは、人間が視覚的に判断できる情報と、同様のものを収集できます。もちろん、ユーザーはWebサイトに訪問した際に、Webサイトの裏側のHTMLやCSSは見ることができません。しかし、クローラーはHTMLやCSS、タグの設定まで見ることが可能です。その他、下記のようなファイルを対象にクローリングしています。

• 画像ファイル
• JavaScript
• PDF
• txt.ファイル
• FLASH

これらのファイルを対象に総合的にクローリングを行い、インデックス及び検索順位のランキングを決定しています。

クローラビリティの改善方法

クローラビリティを改善したい場合、下記9つの方法を実践するようにしましょう。

• 外部サイトからのリンクを得る
• Googleの「Search Console」でサイトマップを送信する
• Search ConsoleのFeach as Googleを使う
• ディレクトリ構造を修正する
• パンくずリストを設定する
• URLの見直し
• robots.txtの見直し
• リンク切れページの削除
• 内部リンクの見直し

それぞれ順番に解説します。

外部サイトからのリンクを得る

クローラーはサイト内に貼られているリンクを辿って様々なサイトをクロールしていきます。そのため、外部サイトにリンクが貼られていることで自分のサイトがクローラーから発見される可能性が高まります。
外部サイトからリンクを獲得する方法について

Googleの「Search Console」でサイトマップを送信する

Googleが提供する「Search Console」には、サイトマップを検索エンジンに送信する機能があります。サイトに「こんなページがあるよ」ということを知らせ、クロールしてもらうことができます。
サイトマップって何？SEO効果から作成方法まで徹底解説

Search Consoleの『インデックス登録をリクエスト』を使う

Search Console内の『Fインデックス登録をリクエスト』という機能では、クローラーにサイトのクロールを要請することができます。

インデックスを早めることができるので、何らかのページ内容の更新やSEO対策を行った際に使うとすぐに検索結果に反映されるようになります。
Googleサーチコンソールの使い方と重要機能【使い方を解説】

ディレクトリ構造を修正する

Googleでは、浅い階層にあるコンテンツほど重要であると認識するようになっています。

検索エンジンがコンテンツの重要度を正しく認識してくれるよう、ディレクトリ構造を修正してみるのも良いでしょう。

パンくずリストを設定する

パンくずリストとは、ページのヘッダー部分のすぐ下などにある、いまサイト内のどこのページにいるのかを教えてくれる表示のことをいいます。このパンくずリストを設定することでも、クローラーがサイトを発見する手助けをすることができます。

URLの見直し

ユーザーからしてみれば、URLに「www.」が付いているかいないかは、そこまで重要視するものではありません。しかし、クローラビリティの最適化においては非常に重要です。なぜなら、www.が付いているURLと付いていないURLでは、検索エンジンは別のものとして判断するためです。

クローラーは、1回のクロールで収集できる情報に限りがあります。そういった仕組みがある中で別のURLをクローリングさせてしまうと、検索エンジンに無駄な情報を与えることになります。これらを専門用語で「クロールバジェットの浪費」と表現します。

www.のありなしが両方存在している場合は、どちらか1つのURLに正規化するようにしましょう。
URLの正規化について詳しくはこちら

robots.txtの設置

robots.txtには、WebサイトのサイトマップURLを記述できます。必ずしも行うべき施策ではありませんが、robots.txtを設置することで、早くクロールしてもらえる可能性が高くなります。

リンク切れページの削除

リンク切れページの削除も、URLの見直しと同様です。1回のクロールに上限がある中で、リンク切れページをクロールさせてしまうのはクロールバジェットの浪費になります。また、ユーザビリティの観点から見てもマイナスしかありません。

検索エンジンは、ユーザビリティを損ねるWebサイトのSEO評価を落とすので、リンク切れページは削除したり、別のリンクに繋ぎ直したりしましょう。

内部リンクの見直し

次に、内部リンクの見直しも行いましょう。クローラーは、Webサイト内のリンクをたどって情報収集を行います。リンクが集中しているページはクローラーも重要視する傾向にあり、SEO評価が上がる可能性があります。

また、関連性の高いページに繋ぐほどユーザー満足度も高められるので、内部リンクの見直しは大切です。なお、検索エンジンは「href」属性で指定された<a>タグしか読み込めないため、必ず<a>タグを用いて内部リンクを繋ぐようにしましょう。
内部リンクとは？SEO効果が期待できる貼り方・チェック項目

クローラーはブロックすることも可能

上述したrobots.txtを設置することで、クローラーをブロックすることも可能です。そもそも、クロールしてもらう必要のない画像や動画が存在する場合、それらがクロールされるだけでクローラビリティを損ねてしまいます。

robots.txtに構文を記述してWebサイトにアップロードすることで、クロールしてほしくない特定コンテンツをブロックできます。Webサイトの状況に応じて活用するようにしましょう。

クロールされているか確認する方法

ここまで、クローラビリティの改善方法などを解説してきましたが、実際にクロールされているかを確認したい方は多いかもしれません。クロールされているか確認するには、下記2つの方法がおすすめです。

• 「site:」で検索する
• クロールの統計情報を見る

それぞれ順番に見ていきましょう。

「site:」で検索する

サイトマップを送信したりFetch as Googleをしたりしたとしても、その瞬間にクローラーが回ってくるわけではないため、実際にインデックスされたかどうかは自ら調べる必要があります。

「インデックスされているかどうか」だけを簡単に調べるのであれば、Google検索で「site:～（URL）」で検索してみましょう。

インデックスされている場合には問題なく一番上に表示されます。

クロールの統計情報を見る

どれくらいクロールされたのかなど、より詳しい状況を知るためには、Search Consoleの『クロールの統計情報』を見る必要があります。

ここで詳しい数値を見て、クローラビリティの改善の必要性を見極めましょう。

クローラーに発見してもらうために何を行うべき？

クローラーに発見してもらうためには、下記2つの施策を行いましょう。

• コンテンツを継続的に作成する
• サイトマップを作成する

それぞれ順番に解説します。

コンテンツを継続的に作成する

継続的にコンテンツを作成することで、Webサイトのフレッシュネスが担保されます。フレッシュネスとは、どれだけWebサイトの情報が新鮮であるかを表す指標のことです。フレッシュネスの高いWebサイトは、クローリングが早くなる傾向にあります。そのため、クローラにも発見してもらいやすくすることが可能です。

もちろん、日記のような雑記コンテンツではなく、専門性の高い高品質なコンテンツを継続的に作成するようにしましょう。

サイトマップを作成する

検索エンジン向けのXMLサイトマップを作成することで、検索エンジンに対して、どのようなページがあるかを伝えられます。XMLサイトマップの作成方法は非常に簡単であり、プラグインを使う方法や、最近では自動でXMLサイトマップを作成できるWordPressも存在します。XMLサイトマップを作成したら、Google Search Consoleからサイトマップを送信しましょう。

クローラー（クロール）に関するQ＆A

最後に、クローラー（クロール）に関してよくある質問に回答します。

• クローリングされない原因は？
• クローリング最適化のメリットは？
• クローリング最適化後にどのくらいの期間で改善する？

それぞれ順番に見ていきましょう。

クローリングされない原因は？

クローリングされない原因は、さまざまなものが考えられます。ディレクトリ構造が不適切であったり、サイトマップを送信していなかったりするなどの理由です。本記事で解説した内容を1つずつ実践することで、大半のケースでクローリングされるようになるでしょう。

クローリング最適化のメリットは？

リライトしたページや新規で作成したページが、検索エンジンに見つかりやすくなるメリットがあります。また、それによりSEO評価が高まることにも期待できます。

クローリング最適化後にどのくらいの期間で改善する？

あくまで目安の期間ですが、すでにある程度のページやコンテンツが入っているWebサイトであれば、即日で改善する可能性があります。しかし、ページがそこまで入っていないWebサイトでは、改善に3ヶ月以上要するケースもあります。

まとめ

Webサイトを作ってSEOで順位を上げていこうと思っても、検索結果に出てこないのでは話になりませんよね。

また、SEO対策を施した際にはより早く結果につなげたいものです。

クローラーと検索結果の仕組みを理解して、クローラビリティの改善を徹底していきましょう。

SEOにお困りなら【無料SEO診断】

株式会社デジタルアイデンティティでは、創業から14年以上、SEO対策に注力してきました。
検索エンジンをハックするようなブラックハットな手法に頼ることなく、Googleの推奨に沿ったホワイトハットな手法で上位表示を実現してきました。

そんな弊社のSEOナレッジを50以上の項目に落とし込んだSEO診断を無料でご提供しています！
（毎月先着10社様限定とさせていただいています）

無料SEO診断はこんな方におすすめ！

• SEO対策をどこから始めればいいかわからない…
• 自社でSEO対策をしているが思うように順位が上がらない…
• 他社にSEO対策を依頼しているがセカンドオピニオンが欲しい…
• なぜ競合サイトの検索順位が高いのか知りたい…
• 現在のSEO対策が正しいのか確認したい…

弊社の無料SEO診断でわかること

• 現在のSEO評価
• SEO項目ごとの改善方法
• SEO項目ごとの優先度

正しい現状認識は、SEO対策で効果を出す上で何よりも重要です。

自社のSEO対策について、少しでも気になる方は以下のリンクからお気軽にお申し込みください。

【簡単1分】無料SEO診断に申し込む