SEO 重大な影響中程度 10～20分

ロボット (インデックス作成と robots.txt)

どの検索エンジンがクロールしてインデックスを作成できるかを制御します。

それは何ですか

インデックス作成は、robots.txt ファイル (クロールされるもの) とメタロボット/X-Robots-Tag ヘッダー (ページにインデックスを付けるかどうか、たとえば noindex) の 2 つによって制御されます。彼らは混乱しやすいのです。

なぜそれに対処するのでしょうか？

設定ミスは、最も破壊的な SEO ミスの 1 つです。誤って残った「noindex」または「Disallow: /」により、サイト全体が Google から除外される可能性があります。逆に、ルールが欠落していると、無駄なページ (カート、フィルター) のインデックスが作成され、クロールバジェットが無駄になります。

やり方

1運用ページに noindex (開発/ステージングでよくある残り物) がないことを確認します。
2robots.txt では、CSS/JS やインデックスを作成したいページをブロックしないでください。
3インデックスに含めるべきではないもの (管理、カート、内部検索) のみをブロックします。
4robots.txt のサイトマップを参照してください。
5覚えておいてください: robots.txt はクロールを防止しますが、必ずしもインデックス作成を防止するわけではありません。インデックスから削除するには、meta noindex を使用します。

ロボット.txt

Špatně

User-agent: *
Disallow: /        ← blocks the ENTIRE site

Správně

User-agent: *
Disallow: /admin/
Disallow: /cart/
Allow: /

Sitemap: https://www.example.cz/sitemap.xml

結論

インデックス作成は可視性の「マスタースイッチ」です。そのため、インデックス作成は重要なチェックに含まれます。デプロイするたびに、ステージング環境から noindex が残っていないこと、robots.txt が重要なものをブロックしていないことを確認してください。ここで 1 つの間違いを犯すと、すべてのオーガニックトラフィックが損失する可能性があります。