Brouzdej.cz

Problém: Robot Seznamu nechce prohledávat web

Na SEO konfereci se opět vyskytl zajímavý problém, který se týká robota Seznam.cz. Můžete mít správné a optimalizované URL adresy, dobrou strukturu stránek a přesto váš web může robot indexovat poměrně neochotně. Proč tomu tak je, popisuje v konferenci Dušan Janovský. Zároveň přidává rady, jak toto chování robota obejít či vyřešit.

V e-mailové konferenci, která je věnována optimalizaci webových stránek pro internetové vyhledávače (SEO) se občas objeví zajímavý problém. Ten dnešní se týkal indexování jednoho internetového webu. Pokud se vám také stává, že indexovací robot Seznam.cz neochotně prohledává váš web, může být problém ve velmi podobném obsahu.

Tento problém popisuje správce webu Moje-rodina.cz a vyskytuje se u webových stránek s diskusí, kde URL zůstává prakticky stejná a mění jenom parametr pro řazení diskuse. Podobné řazení diskuse je také na serveru Pooh.cz. Například Lupa.cz řazení diskusí nenabízí.

Když robot Seznamu narazí na stránky, které považuje za velmi podobné (duplicitní), může ho takové zjištění odradit od dalšího zkoumání webu. Dušan Janovský ve své odpovědi naznačil, že se toto chování robota může do budoucna změnit. Zároveň přidal několik doporučení, jak popisovaný problém vyřešit.

1. Často odkazujte na články, které považujete za velmi důležité.

2. Zakažte pomocí robots.txt části webu, které jsou pro vyhledávač zbytečné a mohl by je podle vás považovat za duplicitní. Mohou to být například skoro stejné a velmi články, kde se mění pouze navigace či diskuse čtenářů. Nově je možné k zákazům přidat i hvězdičku, přičemž na jednom řádku nelze uvést více než jednu. Příkaz Disallow: /forum*?sort=desc zakáže indexování čehokoliv, co začíná na forum.

3. Řazení čtenářských diskusí vyřešte pomocí formulářů a nikoliv odkazů. (Poznámka: Podle mého názoru by měl robot poznat, že se jedná o řazení diskusí například tím, že se v okolí odkazů vyskytují klíčová slova pro diskusi. Doufejme, že toto fulltext Seznamu změní).

4. Smazat box s odkazy na poslední diskuse. Dojde k tomu, že se z podobných URL stanou duplicitní. Práci s duplicitními stránkami má robot Seznamu lépe ošetřenou.

| Radim Hasalík