接続に失敗しました。もう一度試してください。

コンテンツにスキップ
SEO Tools
ヘルプとドキュメント
SEO 重大な影響 中程度 10～20分

ロボット (インデックス作成と robots.txt)

どの検索エンジンがクロールしてインデックスを作成できるかを制御します。

それは何ですか

インデックス作成は、robots.txt ファイル (クロールされるもの) とメタ ロボット/X-Robots-Tag ヘッダー (ページにインデックスを付けるかどうか、たとえば noindex) の 2 つによって制御されます。彼らは混乱しやすいのです。

なぜそれに対処するのでしょうか？

設定ミスは、最も破壊的な SEO ミスの 1 つです。誤って残った「noindex」または「Disallow: /」により、サイト全体が Google から除外される可能性があります。逆に、ルールが欠落していると、無駄なページ (カート、フィルター) のインデックスが作成され、クロール バジェットが無駄になります。

やり方

  1. 1運用ページに noindex (開発/ステージングでよくある残り物) がないことを確認します。
  2. 2robots.txt では、CSS/JS やインデックスを作成したいページをブロックしないでください。
  3. 3インデックスに含めるべきではないもの (管理、カート、内部検索) のみをブロックします。
  4. 4robots.txt のサイトマップを参照してください。
  5. 5覚えておいてください: robots.txt はクロールを防止しますが、必ずしもインデックス作成を防止するわけではありません。インデックスから削除するには、meta noindex を使用します。

ロボット.txt

Špatně
User-agent: *
Disallow: /        ← blocks the ENTIRE site
Správně
User-agent: *
Disallow: /admin/
Disallow: /cart/
Allow: /

Sitemap: https://www.example.cz/sitemap.xml

結論

インデックス作成は可視性の「マスター スイッチ」です。そのため、インデックス作成は重要なチェックに含まれます。デプロイするたびに、ステージング環境から noindex が残っていないこと、robots.txt が重要なものをブロックしていないことを確認してください。ここで 1 つの間違いを犯すと、すべてのオーガニック トラフィックが損失する可能性があります。

関連トピック