Stránka může mít promyšlený obsah, rychlé načítání i vyplněná strukturovaná data, a přesto se ve vyhledávání neobjeví, protože ji vyhledávač technicky nesmí zařadit do indexu. Kontrola indexovatelnosti na stránce se zaměřuje přesně na tuto první a nejzákladnější vrstvu, tedy na to, jestli stránce něco v přístupu k indexu vůbec nebrání. Pro rychlé ověření vlastního webu najdete více zde. Tento text vysvětluje, co všechno indexovatelnost ovlivňuje, proč se tato kontrola dělá vždy jako první, a jaké chyby se v praxi objevují nejčastěji.
Co kontrola indexovatelnosti na stránce prověřuje
Kontrola ověří přítomnost a nastavení canonical URL, jestli stránku neblokuje soubor robots.txt, jestli vůbec robots.txt na doméně existuje, jestli má web XML mapu stránek, jestli se na stránce neobjevuje direktiva noindex, a u vícejazyčných webů i správnost hreflang odkazů včetně varianty x-default.
Proč se tahle vrstva kontroluje jako úplně první
Než dává smysl řešit cokoliv dalšího na webu, ať jde o rychlost, obsah či strukturovaná data, musí být jasné, že vyhledávač na stránku vůbec smí a může. Přesně v tomto pořadí, tedy nejdřív přístupnost a indexace, potom struktura webu a teprve pak detaily jednotlivých stránek, doporučuje postupovat i tento článek o pořadí auditu technického SEO. Oprava rychlosti či obsahu na stránce, kterou vyhledávač stejně nesmí zaindexovat, je práce navíc bez jakéhokoli přínosu.
Jak takovou chybu poznat zvenčí
Chyba na této úrovni se navenek často neprojeví vůbec. Stránka se v prohlížeči zobrazí normálně, funguje pro návštěvníky bez potíží, jediný náznak problému bývá vidět jen v tom, jak se ke stránce chová vyhledávač, tedy jestli ji vůbec zařadí do svého indexu a jak dlouho mu to trvá. Proto se tahle vrstva nedá spolehlivě odhalit pouhým prohlížením webu, ale jen cíleným ověřením přímo u zdroje.
Canonical URL a přirozené duplicity
Stejný obsah se na webu často objevuje na víc adresách, aniž by to autor nějak zavinil, typicky na verzi s www i bez www, či na hlavní adrese i na jejím indexovém souboru. Canonical URL vyhledávači řekne, kterou z těchto variant má považovat za tu hlavní. Bez správně nastaveného canonical tagu si podobné stránky navzájem konkurují a rozdělují mezi sebou signály, které by jinak táhly za jeden provaz.
Robots.txt jako první brána pro roboty
Soubor robots.txt je první věc, kterou by si robot vyhledávače měl na webu přečíst, ještě než se pustí do procházení jednotlivých stránek. Chybí-li tento soubor úplně, roboti to berou tak, že smějí všude, ale chybná pravidla uvnitř souboru dokážou omylem zablokovat i stránky, které by se naopak měly indexovat, jak vysvětluje tento materiál o řízení přístupu vyhledávačům přes robots.txt. Právě tahle jediná řádka navíc v souboru dokáže z indexu vyřadit klidně celý web.
Meta robots noindex coby jemnější nástroj
Zatímco robots.txt řeší přístup pro celé skupiny adres najednou, direktiva noindex v hlavičce konkrétní stránky funguje jemněji, na úrovni jedné jediné adresy. Používá se tam, kde má stránka existovat a fungovat pro návštěvníky, ale nemá se objevovat ve výsledcích vyhledávání, třeba u interních filtrů nebo testovacích verzí stránek. Problém nastává, když noindex zůstane omylem nastavený i po přechodu stránky z testovacího prostředí do ostrého provozu.
Hreflang a x-default pro vícejazyčné weby
U webů s víc jazykovými verzemi hreflang odkazy říkají vyhledávači, která jazyková varianta patří k jaké zemi či jazyku, a varianta x-default určuje, co se má zobrazit návštěvníkovi, jehož jazyk žádná z uvedených verzí přesně nepokrývá. Propojení musí být obousměrné, tedy každá jazyková verze musí odkazovat na všechny ostatní, jinak vyhledávač celé propojení ignoruje. Nejčastěji tento typ chyby vzniká postupně, když se na web přidá nová jazyková verze a autor zapomene doplnit zpětné propojení u těch stávajících.
XML mapa stránek jako doplňkový signál
Sama o sobě mapa stránek nikoho neindexuje, funguje spíš jako nápověda, kde všude vyhledávač najde obsah, který autor webu považuje za hodnotný. Hodí se hlavně u rozsáhlejších webů nebo tam, kde vyhledávač některé stránky sám cestou přes odkazy nedokáže snadno najít. Zařazení adresy do mapy stránek navíc funguje jako slabý signál, že jde právě o tu verzi, kterou má vyhledávač preferovat, pokud existuje víc podobných adres současně.
Nejčastější chyby v praxi
V praxi se u indexovatelnosti opakuje několik podobných problémů:
- Zapomenuté pravidlo v robots.txt z vývojářské verze webu, které omylem blokuje i ostrý provoz.
- Chybějící nebo nekonzistentní canonical URL napříč podobnými stránkami.
- Noindex ponechaný na stránce po jejím přechodu z testovacího prostředí do ostrého provozu.
- Jednostranné hreflang odkazy, které chybí na některé z propojených jazykových verzí.
Co si z této kontroly odnést
Canonical URL, robots.txt, noindex a hreflang patří mezi nastavení, která návštěvník na stránce vůbec nevidí, přesto rozhodují o tom, jestli se ke stránce v indexu vyhledávače dostane vůbec někdo. Kontrola téhle vrstvy se vyplatí opakovat po každé úpravě struktury webu nebo po přechodu z testovacího prostředí, protože právě tam chyby vznikají nejčastěji.
Máte jistotu, že žádná důležitá stránka vašeho webu není omylem zablokovaná v robots.txt nebo označená jako noindex?
