Ověření indexovatelnosti stránky by mělo patřit mezi první kroky po spuštění nového webu. Sebelépe napsaný obsah zůstane bez čtenářů, pokud ho Google vůbec nezařadí do indexu. Příčinou většinou nebývá kvalita textů, ale technická překážka, která robotovi brání stránku zaindexovat, i když ji navštívil a přečetl. Mezi tři nejčastější viníky, které si na dalších řádcích představíme, patří chybně nastavený robots.txt, zapomenutý meta tag noindex a špatně směřovaný canonical tag.
Robots.txt je první a nejčastější překážka
Soubor robots.txt najde vyhledávací robot hned na začátku návštěvy a řídí se jeho pokyny dřív, než se pustí do procházení zbytku webu. Detailnější popis souboru robots.txt a co všechno umí najdete zde.
Stačí přitom jeden nesprávně nastavený řádek s příkazem Disallow a robot přestane procházet celou sekci webu, klidně i bez vědomí správce stránek. Tato chyba typicky vzniká při přechodu z vývojářské verze webu na ostrou, kdy zůstane v souboru zapomenutý řádek, který měl blokovat testovací prostředí, ne finální web.
Podobně riziková bývá i migrace na nový redakční systém, protože ten často vygeneruje vlastní robots.txt s výchozím nastavením, které se s tím původním vůbec neshoduje. Nejzrádnější na této chybě je, že web funguje pro návštěvníky naprosto normálně, takže si jí firma dlouho vůbec nevšimne.
Meta tag noindex může být stejně záměr jako omyl
Značka noindex v hlavičce stránky signalizuje vyhledávači, že si daný obsah do výsledků zařazovat nemá. Používá se cíleně třeba u děkovacích stránek po objednávce, případně u interních vyhledávacích výsledků, kde by zařazení do Google jen zbytečně kazilo přehlednost výpisu.
Problém nastává, když tento tag zůstane aktivní i na stránkách, které mají být veřejně dohledatelné. Stává se to hlavně po nasazení nové šablony či po přesunu obsahu mezi vývojářským a ostrým prostředím. Web pak vypadá navenek naprosto v pořádku, návštěvník na něj klidně přijde přes přímý odkaz, jenže ve výsledcích vyhledávání zkrátka nikdy nebude.
Canonical tag, který odkazuje jinam, než má
Canonical tag slouží k tomu, aby vyhledávač věděl, která verze stránky je ta hlavní, pokud existuje ve více variantách, třeba s parametry v adrese či v jiném jazyce. Pokud ovšem tento tag u dané stránky omylem míří na jinou adresu, Google usoudí, že se jedná jen o duplicitní verzi, a hlavní stránku do indexu vůbec nezařadí.
Tuto chybu často způsobí špatně nastavená šablona, která canonical generuje automaticky a u konkrétní podstránky se pak z nějakého důvodu spočítá nesprávně. Stránka pak technicky funguje, obsahuje unikátní text a přesto zůstává pro vyhledávač neviditelná. Podobně dopadají i e-shopy s produkty ve více barevných variantách, kde canonical tag jedné varianty omylem odkazuje na úplně jiný produkt, a Google pak z celé skupiny stránek zaindexuje jen zlomek.
Jak zjistit, co konkrétní stránce brání
Ruční kontrola všech tří příčin je zdlouhavá, hlavně u rozsáhlejšího webu s desítkami či stovkami podstránek, kde se navíc chyba u jedné šablony může projevit napříč celou sekcí webu najednou a odhalit ji jen díky náhodné kontrole jedné konkrétní adresy tak trvá dlouho.
Rychlejší je použít nástroj, který stránku projde tak, jak by ji viděl vyhledávací robot, a hned ukáže, jestli ji blokuje robots.txt, obsahuje noindex, popřípadě má chybně nastavený canonical tag.
Právě k tomuto účelu slouží třeba ověření indexovatelnosti stránky v nástroji seotest.online, kam stačí zadat konkrétní adresu a během chvíle se zobrazí přehled všech tří kontrolovaných bodů najednou. O tom, co podobný nástroj dokáže a co naopak ne, se podrobně píše i v článku o tom, co SEO kontrola skutečně prozradí o stavu webu.
Co dělat po nalezení a opravě chyby
Po opravě kterékoli z těchto tří příčin stránka do indexu nenaskočí okamžitě, Google si ji musí znovu navštívit a přehodnotit. Zařazení proto může trvat od pár dní až po několik týdnů, podle toho, jak často vyhledávač daný web navštěvuje, jak velký web celkově je a kolik dalších stránek robot v mezičase prochází.
Proces lze urychlit odesláním konkrétní adresy k opětovnému prohledání přímo přes nástroje pro webmastery, tím se ale nezaručuje okamžité zařazení, jen dřívější návštěva robota.
Je také dobré zkontrolovat, jestli stejná chyba nezasahuje víc stránek najednou, hlavně pokud vznikla kvůli chybně nastavené šabloně. V takovém případě může jedna oprava vrátit do indexu desítky podstránek naráz.
U rozsáhlejších webů se osvědčuje procházet stránky po jednotlivých sekcích, třeba nejdřív celou kategorii produktů a až poté blogové články, protože každá sekce bývá postavená na jiné šabloně a chyba se v ní může projevovat jinak.
Jak podobným výpadkům předcházet do budoucna
Pravidelná kontrola indexovatelnosti po každé větší úpravě webu, migraci nebo nasazení nové šablony pomáhá podobným chybám předcházet dřív, než stihnou ovlivnit návštěvnost a tržby.
Měla by být tudíž běžnou součástí schvalovacího procesu například před spuštěním nové verze webu. Eventuálním výpadkům návštěvnosti se tak z velké části vyhnete úplně, protože chybu odhalíte ještě předtím, než se projeví ve statistikách návštěvnosti a tržeb.
