WordPressの始め方を分かりやすく解説!こちらをクリック

インデックスされない問題の原因と解決策を解説!クローラーが来ない理由も

クローラーとインデックス
  • URLをコピーしました!

あなたのWebサイトが検索結果に表示されるためには、まずはインデックスされなくてはなりません。

SEOにおけるインデックスとは、Googleなどの検索エンジンのクローラーがWebサイトに訪問し、ページの情報をデータベースに登録(索引)すること。

しかし最近は「インデックスされない問題」が話題になるほど、インデックスされない・遅いなどの現象が起こることがあります。

よめちゃん

がんばって記事を書いてもインデックスされないんじゃ意味ないよね……

サンツォ

インデックスされない原因と対処方法を教えるよ!

こんな疑問を解決します!
  • インデックスされないのはなぜ?
  • インデックス状況を調べる方法は?
  • インデックスされるためにできることを教えて!

なかなかインデックスされないと悩んでいる人は、ぜひ参考にして下さい。

目次

SEOに強くて、お洒落で、記事制作スピードも速いテーマ!
マクサンでも使っている超おすすめテーマ「SWELL」はこちら!

サンツォ
1976年生まれ。東京都出身。合同会社田舎暮らし代表取締役。複数の業界にて20年近くWebマーケティングの仕事に携わる。2013年より副業でブログを開始。 複数のブログ・SNSを運営した経験を活かし、ブログやアフィリエ イトのノウハウを発信する当ブログを開設。またブロガーのためのオンラインサロン「マクサン」の共同オーナーを務める。フォロワー10万人を抱えるInstagram「ベランダ飯」も運営。借金地獄のどん底からブログ一本で這いあがり、月収300~400万円を稼げるように。2020年2月には累計収益が1億円を突破。著書に『マクサン式Webライティング実践スキル大全』(大和書房)などがある。本名は吉岡 智将
マクリン
いや、俺なんてそんな、どこにでもいるただのマクリンですよ。

副業でガジェットサイト「マクリン」の運営を開始し、2019年12月に副業を株式会社makuriに法人化。2020年4月に合同会社レイテラスを設立し、コワーキングスペース「レイテラス」を開店。撮影スタジオ「レイテラススタジオ」もスタート。ブロガー向けオンラインサロン「マクサン」の共同オーナーをつとめる。

クロールとインデックスの仕組み

クローラーとSEO

Webページの情報が検索エンジンにインデックスされるには、

まずは検索エンジンのクローラーがページをクロール(巡回)しなければなりません。

本章ではクロールとインデックスの仕組みを解説します。

クロールとは?

クロールとは、クローラー(Googlebot、または単にボット)と呼ばれるプログラムが、Webサイトを巡回すること。

クローラーは、インターネット上のあらゆるWebサイトを、リンクを辿りながらくまなく巡ります。

どこからもリンクが繋がっていないページには、当然ながらクローラーはやってきません。

クローラーに見つけてもらうためには、すでにクローラーがやってきてる他のページからリンクが貼るか、

検索エンジンにインデックスのリクエストを送信し、クローラーを呼び込む必要があります。

よめちゃん

まずはクローラーに見つけてもらわないと始まらないってことね

サンツォ

その通り! 具体的な方法はあとで説明するよ

インデックスとは?

インデックスとは、クローラーが集めたWebページの情報を検索エンジンのデータベースへ登録することです。

情報は種類ごとにカテゴライズされ、あとで素早く引き出せるように、キレイに整理整頓しつつ索引されます。

ユーザーが実際に検索をおこなった際には、検索アルゴリズムに基づいて関連性・情報の質などが評価され、

その評価が高い順にランキング(順位付け)され、最終的に検索結果ページに表示されます。

サンツォ

検索アルゴリズムとは、ページを評価するための(めっちゃ複雑な)計算式のようなもの

たとえクローラーが来てくれても、インデックスされなければ検索結果に表示されません。

「検索流入がほとんどない」という人は、そもそもインデックスがされているかどうかを確認しましょう。

インデックス状況の確認方法

インデックス状況の確認方法を紹介します。

あなたのWebサイトがインデックスされているかどうかを確認するには、以下の2種類の方法があります。

Google Search Consoleで調べる

Google Search Consoleへログインします。

トップページ(サマリー)の中央上にある検索窓に、調べたいページのURLを入力すると、ページのインデックス状況が表示されます。

URLはGoogleに登録されています」と表示されたら、インデックスされているので問題ありません。

URLがGoogleに登録されていません」と表示される場合「ページのインデックス登録」の項目に理由が記載されています。

上図のように「URLがGoogleに認識されていません」や「検出-インデックス未登録」などの場合は、クロール待ちの状態です。

後述の「Google Search Consoleからインデックス登録をリクエストする」を参考にクローラーを呼び込みましょう。

Googleから「site:」で調べる

インデックス登録されているかどうかは、Google検索からも簡単に調べられます。

Googleの検索窓に「site:https://〜」と、「site:」の後に調べたいページのURLを入力します。

該当ページが結果に表示される場合は、インデックス済みです。

「site:」の後にサイトTOPのURLを入力すると、サイト内のインデックス済みのページを一覧で確認できます。

検索結果に表示されない場合は、前述の「Google Search Consoleで調べる方法」で原因をくわしく調べましょう。

インデックスされない原因

クローラーとWebサイト

インデックスされない原因は、以下のようなものが考えられます。

サンツォ

大きくはこの3つの原因に分かれるよ

そもそもGoogleのクローラーが来ていない

もっとも多い原因は、Googleのクローラーが来ていないことがあげられます。

クローラーが来ない理由には下記のようなものがあります。

ちなみに、クローラーは無限にリソースがあるわけではなく、1つのサイトに対してクロールできる上限数(割り当て枠=クロールバジェット)が存在します。

なので、できるだけクロールしやすい(=クローラビリティに優れた)サイト構造にし、クローラーが回遊しやすいWebサイトにすることが大切です。

よめちゃん

なるほど。クロールは有限だってことね

サンツォ

クロールバジェットとクローラビリティは、SEO対策では結構大切な要素だから覚えておいて

ドメインが新しいためクローラーに認識されにくい

開設してから間もない新しいサイトの場合、Googleの検索エンジンにまだ認識されていない可能性が高いです。

下記のような方法で、検索エンジンにサイトの存在を知らせてあげる必要があります。

サンツォ

始めたばかりのサイトでは、ほとんどこれが原因

外部サイトやSNSからの被リンクが少ない

外部サイトやSNSからの被リンクが少ないと、クローラーの巡回の機会が限られてしまいます。

クローラーはリンクを辿ってネット上のサイトを回遊するため、リンクがないとそもそも見つけてもらえません。

対処方法
  • 被リンクを獲得できるコンテンツ(記事)を作る
  • SNSで記事をシェアする
  • ブログランキングnoteペライチなど、外部サイトに自分のブログを記載する
よめちゃん

SNSや外部サイトを上手に活用するのが大切ね

内部リンク・サイト内誘導が不十分

被リンクと同じく、内部リンクもクローラーの巡回に影響します。

記事内の通常の内部リンクのほか、新着記事・関連記事・人気記事・メニューなどのリンクが不十分などの原因も考えられます。

サンツォ

HTML形式のサイトマップ(記事一覧)を作っちゃうのも手だよ

関連性の低い記事はインデックスされにくく、SEOに悪影響となるリスクがあるので、

サイトテーマに沿った記事を書くとともに、関連性の高い記事同士を内部リンクで結ぶようにしましょう。

対処方法

サイト構造が複雑でクローラーが巡回しにくい

サイトの階層構造を考慮せずに無計画にページを増やしていくと、サイト構造が複雑になり、クローラーの巡回が遅くなります。

インデックスされやすくするには、クローラビリティに優れたクロールしやすい)サイト構造にすることが大切です。

記事のカテゴリー分けがごちゃごちゃしていたり、ムダに階層を深くしすぎると、人間(読者)にも機械(クローラー)にもわかりにくくなってしまいます。

対処方法
  • カテゴリー分けをシンプルにする
  • カテゴリー数を増やしすぎない
  • 階層を深くしすぎない
  • 不要なページを削除する
  • パンくずリストを設定する
よめちゃん

サイト構造を整理整頓して、クローラーが迷わないようにするのね

サイトの表示速度が遅い

検索エンジンは、ページ表示速度が遅いサイトへのクロール頻度を減らし、反対に表示速度が速いサイトへのクロールを増やします。

これはGoogle公式の「検索セントラル」にも記載されています。

サイトの速度を上げると、ユーザーにとっての利便性が向上するだけでなく、クロール頻度も高くなります。Googlebot では、速度に優れたサイトはサーバーが健全な状態であることを表すものと見なされるため、同じ接続の数でより多くのコンテンツの取得が可能になります。一方、5xx エラーや接続タイムアウトが多い場合はサーバーの状態に問題があると見なされ、クロールが遅くなります。

引用:Googlebot のクロールの割り当てについて  |  Google 検索セントラル ブログ  |  Google Developers

クローラーにはクロールバジェット(クロールの割り当て枠)の概念があり、クロールする時間やページ数に上限が存在します。

限られた枠のなかで効率良くたくさんの記事をクロールしてもらうために、高速化は大切な施策のひとつです。

サンツォ

表示速度が遅いとインデックスにも不利なんだ

対処方法
  • サイトの表示速度を高速化する

WordPressを高速化させる方法については下記の記事でくわしく解説しています。

noindexの指定でクローラーが巡回できない

noindex(ノーインデックス)は、意図的に検索エンジンにインデックスをさせない方法です。

特定のページをnoindexに指定すると、クローラーが巡回してもインデックスから除外されてしまいます。

初期設定でサイト全体がnoindexになっている場合も(ごく稀に)あるので確認しましょう。

対処方法
  • 個別ページの設定、サイト全体の設定を確認する
【個別ページの設定】

テーマによって設定方法が変わりますが、SWELLでプラグイン「SEO SIMPLE PACK」を使用している人は、記事下に入力項目があります。

「このページの”robots”タグ」からプルダウンで「インデックスさせない(noindex)」を選択していないかを確認してください。

【サイト全体の設定】

WordPressのダッシュボードのメニューから「設定」→「表示設定」→「検索エンジンでの表示」に進みます。

もし「検索エンジンがサイトをインデックスしないようにする」にチェックが入っていれば、これを外します。

よめちゃん

うっかりnoindexにしちゃっている場合もあるから、念のため確認してね

robots.txtでクロールを拒否している

robots.txtクロールを制御するファイルです。

通常、クロールの巡回を最適化するために設置しますが、設定ミスがあるとインデックスに影響します。

対処方法

robots.txtの中「disallow」にインデックスしたいページの記述がないかを確認します。

サンツォ

上図は、WordPressのrobots.txtが初期設定の状態だよ

「wp-admin」と指定されているのは、管理画面の制御などに必要なファイルがインデックスされない設定になっているからです。

このままでもSEOに直接的な影響はないので、個人のブログ運営では問題ありません。

canonicalの設定が間違っている

canonicalは、サイト内に同一や類似するコンテンツがあるときに正規のページを知らせるタグです。

おもに、カニバリなどで検索エンジンからの評価が下がることを防ぐために使用します。

設定ミスがあると重要なページがインデックスから抜け落ちてしまうので、確認しましょう。

対処方法
  • canonicalタグを確認
canonicalのキャプチャ

テーマによって設定方法が変わりますが、SWELLでプラグイン「SEO SIMPLE PACK」を有効化している場合はとても簡単。

記事下の入力項目から「このページの”canonical” URL」で設定確認できます。

クロール済みだがインデックスされない

クローラーは正常に来ていても、インデックスがされないこともあります。

Search Consoleでインデックス状況を調べたときに「クロール済み-インデックス未登録」とされる場合がこれにあたります。

クロール済みなのにインデックスされない原因には、下記のようなものがあります。

  1. コンテンツの質が低い・専門性が低い
  2. コンテンツの内容が重複している・コピーコンテンツ
  3. そもそもサイト全体の評価が低い
よめちゃん

ようするに、検索エンジンには認識されてるけど、内容に問題があってインデックスされてないってことね

ちなみに、下記のような最後に「feed」などが追加されているURLは、とくに対処は不要です。

(コメント欄を有効にすると自動的に生成されるページで、インデックスさせる必要がないため)

コンテンツの質が低い・専門性が低い

検索エンジンに「価値のないコンテンツ」と判断されるとインデックスされません。

  • 他サイトよりも著しく劣っていないか
  • 他サイトと異なる情報が含まれているか
  • オリジナリティ、一次情報があるか
  • 検索意図を解決する内容になっているか

独自の視点や考察・体験、自らおこなった調査や検証の結果などの一次情報を盛り込めていないと、内容が薄くオリジナリティ(独自性)のない記事だと評価されてしまいます。

また、いくらオリジナリティがあっても、それが検索意図(ユーザーが検索した目的)に沿った内容でないと、そもそも検索エンジンからの評価は得られません。

対処方法
サンツォ

検索意図を調べなおしてリライトするのが、もっとも効果的な対策だよ

コンテンツの内容が重複している・コピーコンテンツ

サイト内でコンテンツ内容が重複しているページは、クローラーに不要と判断されインデックスされません。

また、他サイトからそのままパクってきたような内容の記事(または内容がほぼ同じ記事)は、コピーコンテンツと判断されインデックスされないので注意しましょう。

対処方法
  • サイト内やWeb上の他サイトに類似するコンテンツがないかをチェック
  • サイト内の意図的な重複は、前述の「canonicalの設定が間違っている」の対処方法を参考にタグを設定
よめちゃん

サイトの中と外に似たコンテンツがないか確認するのね

そもそもサイト全体の評価が低い

まだドメイン自体が育っていなかったり、前回のクロール時にサイト全体が低品質と判断されたままではインデックスされません。

検索エンジン以外からの流入が増し、ポジティブなユーザー行動に増えることで、検索エンジンからの評価も高まります。

まずはユーザーの求める質の高いコンテンツを作り、自然な形でユーザーを呼び込めるようにしましょう。

対処方法
  • まずは高品質の記事を増やすことに集中する

Googleがインデックス登録を制限している

ここまでの項目が当てはまらない場合、Googleがインデックス登録を制限している可能性があります。

不正やガイドライン違反がある

特定の記事やサイト全体で不正やガイドライン違反があると、検索結果に表示されません。

これらの不正や違反があると、インデックスから自動で除外されたり、手動でペナルティを受けることもあります。

以下に該当していないかを確認しましょう。

ガイドライン違反を疑うときに確認したいこと
  1. 検索エンジンとユーザーから見たときに、それぞれ異なるページを表示させている
  2. ユーザーを特定の記事に誘導するためにつくられたコンテンツ
  3. ハッキングされている
  4. ユーザーに認知されづらいリンクやテキストがある
  5. キーワードを不自然に詰め込みすぎ
  6. リンクスパム(悪質な被リンク)がある
  7. 「reCAPTCHA」を設置しているページでエラーがある
  8. ウィルス感染や個人情報を抜き取るなどの動作がある
  9. 意図的に誤解を招く機能や広告がある
  10. 他サイトの記事のコピー
  11. 関連性のない悪質なURLへのリダイレクトがある
  12. 意味のない文章やツールで作られたテキストばかり
  13. アフィリエイトページに独自の価値がない
  14. 気づいていない外部からのスパムがある
  15. 著作権を侵害している
  16. オンラインハラスメント(性的画像など)がある
  17. なりすましなどの詐欺や不正行為がある
よめちゃん

ユーザーや検索エンジンをだます悪質なコンテンツへのGoogleの対策ね

サンツォ

意図せず当てはまっていることもあるから要注意!

ペナルティを受けてる

そもそもすでにペナルティを受けている可能性もあります。

また、中古ドメインを購入した場合は、そのドメインが過去にペナルティを受けてる場合も考えられるでしょう。

対処方法
  • Search Consoleでペナルティの有無を確認 

手動ペナルティの有無はSearch Consoleから確認できます。

確認するには、メニューから「セキュリティと手動による対策」→「手動による対策」へと進みます。

上図のように「問題は検出されませんでした」と表示されるか確認しましょう。

過去に受けたペナルティがあれば、原因が表示されます。

インデックスされないときの対処方法

検索エンジンの仕組み

インデックスされないときに実施すべき対処方法を紹介します。

100%必ずインデックスされるとは保証できませんが、原因を特定できていれば高い確率でインデックスされるでしょう。

Google Search Consoleからインデックス登録をリクエストする

インデックスを促すために最初に試す方法が、Search Console(サーチコンソール)からのインデックス登録のリクエストです。

インデックスをリクエストすることで、クローラーを優先的に呼び込むことができ、インデックスされるまでの時間が早まります。

サンツォ

条件さえ整っていれば、基本的はこの方法でインデックスされるよ

インデックス登録をリクエストする手順を紹介します。

まずはSearch Consoleにログインしてください。

ページ中央上の検索窓へ、記事URLを入力。

URLがGoogleに登録されていません」と表示されたら、右上の「公開URLをテスト」をクリック。

この処理には1〜2分かかる場合があります」と表示されるので待ちます。

URLはGoogleに登録できます」と表示されたら「インデックス登録をリクエスト」をクリック。

この処理には1〜2分かかる場合があります」のあとに「インデックス登録をリクエスト済み」と表示されたら完了です。

早いときは数分でクロールされますが、インデックスまで1週間程度はみておきましょう。

XMLサイトマップを送信する

XMLサイトマップとは、Webサイト内における地図のようなものです。

サイトマップにはXML形式(検索エンジン向け)とHTML形式(ユーザー向け)の2種類があります。

サンツォ

どちらもインデックスの促進につながるけど、より直接的に効果があるのはXML形式だよ

クローラーは定期的にXMLサイトマップからWebページを認識して巡回します。

ブログ開設時にサイトマップの設定をおこなっていない人は、下記の記事にサイトマップの作り方を解説しているので参考にしてください。

内部リンクを充実させる

サイトに訪れたクローラーは、内部リンクをたどってサイト内の記事を巡回します。

関係性の高い記事同士を内部リンクでつなぐと、インデックスされる確率を高められます。

過去にインデックスされていてクローラーの巡回頻度が高い記事や、トップページからリンクをする方法も効果的です。

おすすめはトピッククラスターを形成する方法。

トピッククラスターとは

まとめ記事(ピラーコンテンツ、親記事)を中心に、複数の個別記事(クラスターコンテンツ、子記事)を内部リンクでつなぎ、検索意図に対する記事群をつくる

トピッククラスターの解説図

トピッククラスターについては、下記の記事でもくわしく解説しています。

サイトの設定を確認する

インデックスに関わるサイトの設定を確認したいときは、前述の「クロール済みだがインデックスされない」を参考にしましょう。

  1. noindexの指定でクローラーが巡回できない
  2. robots.txtでクロールを拒否している
  3. canonicalの設定が間違っている

記事をリライトして最新の日付で再公開する

記事をリライトして、公開日時を最新にして再公開することでインデックスされる可能性もあります。

記事が公開できたら、再度Search Consoleからインデックス登録をリクエストしましょう。

サンツォ

でも、この方法はいずれ対策される可能性もあるから、注意してね

リライトの方法については下記の記事でくわしく解説しています。

別のURL(パーマリンク)で再公開する

なかなかインデックスされず、原因がわからない場合は、URL(パーマリンク)を変更して再公開することで効果がある場合があります。

WordPressの記事編集画面からパーマリンクを変更し、再度Search Consoleからインデックス登録をリクエストしましょう。

パーマリンクの変更

パーマリンクの変更方法については下記の記事でくわしく解説しています。

【裏技1】YouTubeの概要欄に記事URLを貼る

関係するYouTube動画の概要欄に記事のURLを貼ることも、インデックスを早めるのに有効です。

YouTube自体が同じGoogleのもつプラットフォームであるため、アップロードした動画のインデックスはすぐに行われる傾向があります。

インデックスが行われるということは、クローラーがその動画を巡回しているということであり、概要欄に記事のURLを貼っておくことで、ついでにクローリングしてくれる確率が格段に上がります。

関連する動画を作成していない場合、動画作成の手間はありますが、インデックスにおいてかなり有効な策なので、頭の片隅に置いておくといいでしょう。

YouTubeの始め方は、こちらの記事でくわしく解説しています。

【裏技2】indexmenowを利用する

ここまで紹介した方法をすべて実践してもインデックスされなかった場合、

indexmenow(インデックスミーナウ)」というツールを使ってインデックスさせる方法もあります。

indexmenowとは

インデックスを促進する有料ツール。24時間以内で80%のURLがインデックスに登録される。10日後までにインデックスされない場合、100%自動的に返金される。

indexmenowのトップページのキャプチャ画像

筆者も実際に何度か使ったことがありますが、経験上では100%必ずインデックスされました。

よめちゃん

なにそれ、超便利じゃん

しかし、なぜインデックスされるのか仕組みが不明瞭なので、後日ペナルティなどが起こる可能性も否定できません。

あまり積極的におすすめできる方法ではないので、あくまで最終的な「裏技」として考えましょう。

サンツォ

最終手段として知っておいて損はないかな

インデックスについてよくある質問

インデックスに関してよくある質問に回答します。

Googleにインデックスされるまでの時間はどのくらい?

Googleに登録されるまでの時間はまちまちですが、1週間程度かかる場合もあります。

早いときには数時間〜数日でインデックスされることもありますが、新しいドメインの場合は数週間またはそれ以上かかることもあります。

ちなみに、公式の「Search Console ヘルプ」には下記のような記載があります。

ページの作成やインデックス登録のリクエストを最近行った場合:

Google がページをインデックスに登録するまでに時間がかかることがあります。サイトマップを送信するかインデックス登録リクエストを送信した後、少なくとも 1 週間ほど経ってから、問題があるかどうか判断してください。ページやサイトの変更を行ったのが最近である場合は、1 週間ほど待ってから、改めて検索結果を確認してください。

引用:Google 検索で自分のページが見つからない場合 – Search Console ヘルプ
よめちゃん

逆にいうと、1週間以上経ったらなんか問題があるかもってことね

同じサイトでも記事によってはインデックスまでの時間には差があります。

今回紹介した方法を試しつつ、あまり焦らず気長に待つようにしましょう。

サブドメインでインデックスされないのはなぜ?

サブドメインでインデックスされないのはクローラーが来ていない巡回頻度が低いことが考えられます。

サブドメインはルートドメイン(元のサイト)とは別サイトという扱いです。

新しくサブドメインでサイトを作った場合、その時点でドメインの価値はほぼ「0」で新規サイトと同じ。

そのため、インデックスまでに時間がかかる場合もあります。

サンツォ

サブドメインは、元サイトの評価は引き継がないよ

Googleサーチコンソールでなにが確認できる?

サーチコンソールでできることは、以下のようなものがあります。

Search Console には、以下を行うためのツールとレポートが用意されています。

  • Google がサイトを検出してクロールできることを確認する。
  • インデックス登録に関する問題を修正し、新規コンテンツや更新したコンテンツのインデックス再登録をリクエストする。
  • サイトの Google 検索トラフィック データ(サイトが Google 検索結果に表示される頻度、サイトが表示されたときの検索クエリ、検索クエリに対して検索ユーザーがクリックスルーする頻度など)を表示する。
  • Google がインデックス登録やスパムなどのサイトに関する問題を検出したときにアラートを受信する。
  • ウェブサイトにリンクしているサイトを表示する。
  • AMP、モバイル ユーザビリティ、その他の検索機能に関する問題を解決する。
引用:Search Console の概要 – Search Console ヘルプ
よめちゃん

検索エンジンから見たときのサイトの状況や、問題解決のヒントが分かるのね

Googleはインデックスの基準を厳しくしている?

近年、Googleはより高品質なコンテンツを表示させるためにインデックスの基準を厳しくしています

Googleの中心人物のひとりであるジョン・ミューラー氏によると、低品質であったり、スパムにあるような重複したコンテンツや類似のURLが星の数ほど存在することが理由といわれています。

サンツォ

SEOが難しくなったと言われる理由の1つだね

Googleの求める「良質な記事」「良質なコンテンツ」については、下記の記事に解説しています。

インデックスされない原因と対処方法まとめ

SEOのイラスト

インデックスされない原因とその対処方法について解説しました。

インデックスされているかどうかはGoogle Search Consoleで状況と原因を調べることができます。

インデックスされないおもな原因は以下です。

インデックスされるには、まずは検索エンジンのクローラー(Googlebot)をサイトに呼び込む必要があります。

クローラーが来てもインデックスされない場合には、記事の品質が悪かったり、ペナルティを受けている可能性もあります。

インデックスされない原因がわかれば、下記の対処方法を試しましょう。

インデックスされるには、まずはクローラーが巡回しやすいサイト構造にすることが大切です。

また、サイトのコンテンツ(記事)が「読者の役に立つ内容か」「他と重複しないオリジナルなものか」も重要となります。

よかったらシェアしてね!
  • URLをコピーしました!

コメント

コメントする

CAPTCHA


目次