Mitä ovat crawl trapit ja kuinka niitä vältetään?
Määritelmä crawl trapeista
Crawl trap (indeksointiansa) tarkoittaa hakukoneoptimoinnissa tilannetta, jossa hakukoneen indeksointirobotti ajautuu lähes loputtomaan määrään samankaltaisia tai sisällöltään tyhjiä URL-osoitteita. Tyypillisiä aiheuttajia ovat esimerkiksi verkkokaupan suodatinyhdistelmät (faceted navigation), kalenterinäkymät, jotka linkittävät sivu toisensa jälkeen tulevaisuuteen, istuntotunnisteet (session id) osana URL-osoitetta sekä sisäiset hakutulossivut, jotka generoivat automaattisesti uusia linkkejä.
Miksi crawl trapit ovat ongelma?
Jokaisella sivustolla hakukoneen käytettävissä on rajallinen indeksointibudjetti (crawl budget). Kun robotti juuttuu käymään läpi tuhansia turhia URL-variaatioita, se kuluttaa budjettinsa niihin sivuston oikeasti tärkeiden ja arvokkaiden sivujen sijaan. Tämä voi hidastaa uuden tai päivitetyn sisällön löytymistä hakutuloksista ja heikentää koko sivuston näkyvyyttä.
Esimerkki crawl trapista
Verkkokaupassa tuotelistausta voi suodattaa ja järjestää monella tapaa, jolloin URL-osoitteeseen kertyy parametreja: /tuotteet/?vari=punainen&koko=m&jarjestys=hinta&sivu=2. Kun suodattimia ja niiden yhdistelmiä on kymmeniä, mahdollisten URL-osoitteiden määrä kasvaa räjähdysmäisesti, vaikka sisältö on käytännössä samaa tuotelistaa uudelleen ja uudelleen.
Kuinka välttää crawl trapit?
1. Estä tarpeettomien parametriyhdistelmien indeksointi robots.txt-tiedostolla.
2. Käytä canonical-tagia osoittamaan hakukoneille, mikä versio sisällöstä on ensisijainen.
3. Lisää noindex-määrite sivuille, joita ei ole tarkoitus näyttää hakutuloksissa, kuten sisäisen haun tulossivuille.
4. Vältä istuntotunnisteiden tai muiden muuttuvien tunnisteiden lisäämistä URL-osoitteisiin.
5. Seuraa indeksoinnin tilastoja Google Search Consolesta ja korjaa havaitut ansat sivuston rakenteesta tai sisäisestä linkityksestä.
Crawl trapit voivat hidastaa hakukonenäkyvyyden kehittymistä huomaamatta, joten sivuston URL-rakenteen ja indeksoinnin säännöllinen tarkistaminen kannattaa pitää osana teknistä hakukoneoptimointia.