【SEO】クローラーについて

インターネット上にあるWebサイトの文章や画像などの情報を取得して、自動的に検索データベース化する巡回プログラムのことです。このプログラムは、「ボット（Bot）」「スパイダー」「ロボット」などとも呼ばれます。

このクローラーに検索されやすくする（クローリング対策してクローラビリティを向上させる）ことで、ユーザーにWebサイトの情報をきちんと届けることができます。これは、有効なSEOとなります。

一方、クローラビリティが悪ければ、Webサイトの情報が認識されづらいです。この場合、インデックスされなかったり、不完全な情報がインデックスされます。結果、検索ユーザーにWebサイトの情報がきちんと届かなかったり、検索順位や検索流入の向上に繋がりません。

Googleなどの検索エンジンは、ロボット型検索エンジンです。
このロボット型検索エンジンは、主に3つの仕組みで構成されてます。

1.インターネット上で収集したWebサイトのページ情報をデータベースに登録
2.データベースに登録されたページのランク付け
3.ランク付けされたページを検索結果に表示

この仕組みの中で、「1.インターネット上で収集したWebサイトのページ情報をデータベースに登録」の役割を担うのがクローラーです。

クローラーは、既にデータベース化されているWebサイトからリンクをたどって自動的に移動（クローリング）します。移動先ではページの解析（パーシング）を行って、そのページの情報を処理します。処理したページ情報を検索アルゴリズムが扱いやすいデータに変換してデータベースに登録します。このフローを繰り返し担うのがクローラーです。

このように、検索エンジンの仕組みの一部として、クローラーの機能があるのです。

Googleのクローラーの場合、HTMLや画像／動画、JavaScript、CSS、PDFなどのファイル形式がクローリングの対象です。

クローラビリティとは、クローラーがリンクを辿ってWebページを検出するときの、Webページの見つけやすさ・認識のしやすさ（クロールのしやすさ）のことです。

クローラビリティを向上させる方法としては

・XMLサイトマップを設置する
・質の高いページを作成する
・シンプルなURLにする
・重複ページを無くす
・内部リンクを最適化する
・被リンクを増やす
・ファイルのサイズを減らす
・サーバーを最適化する
・ソフト404エラーを無くす
・ファイルのクロールを拒否する
・不要なアクセスをブロックする
・URL検査ツールを使う

など、状況に応じて様々です。

クローラーの仕組みを理解して、クローリングされやすいコンテンツにしましょう。

一方、クローラーの仕組みがわからなければ、クローラビリティを改善する必要性もわかりません。そうなれば、クローラーに検索されづらいサイトのままとなり、結果、インデックスされなかったり、不完全なコンテンツ内容が表示されるサイトを運用し続けることになるというわけです。
これでは、検索順位が上がらなかったり、検索流入が増えづらいので、サイトのアクセス数が思うように伸びません。

こうした悪い状況を回避する為に、クローラーの仕組みを理解して、クローリングされやすいコンテンツにしましょう。

---

今回ご紹介した、「クローラー」について。
主に対策等は弊社で行っていますが、このような仕組みがあって検索エンジンに表示されるということを知っておいていただけると、運用する上で大切な知識と言えます。