Miksi haluaisin estää sivujen indeksoinnin?
Joissakin tapauksissa haluat estää tiettyjen sivujen näkymisen hakutuloksissa. Tämä voi johtua esimerkiksi siitä, että sivu ei ole vielä valmis julkaistavaksi, se sisältää herkkää tai vain sisäiseen käyttöön tarkoitettua tietoa, tai kyseessä on duplikaatti toisesta sivusta.
Noindex-määritys – oikea työkalu sivun poistamiseksi hausta
Varmin tapa estää yksittäisen sivun päätyminen hakutuloksiin on lisätä sivun HTML-koodin <head>-osioon noindex-meta-tagi:
<meta name="robots" content="noindex">
Tämä kertoo hakukoneille suoraan, ettei kyseistä sivua tule näyttää hakutuloksissa. Jotta noindex-määritys toimii, hakukoneen on kuitenkin päästävä crawlaamaan eli hakemaan sivu nähdäkseen tämän tagin – siksi sivua ei pidä samaan aikaan estää robots.txt-tiedostolla.
Robots.txt ohjaa crawlausta, ei suoraan indeksointia
Robots.txt-tiedosto, joka sijaitsee yleensä sivuston juurikansiossa, kertoo hakukoneiden roboteille, mitä osia sivustosta ne eivät saa crawlata eli käydä hakemassa:
User-agent: *
Disallow: /sivun-osoite
Tämä estää robottia lukemasta sivun sisältöä, mutta ei takaa, ettei sivu voisi silti näkyä hakutuloksissa ilman kuvausta – esimerkiksi jos sivulle osoittaa linkkejä muualta. Jos tavoitteena on varmasti pitää sivu poissa hakutuloksista, käytä robots.txt:n sijaan noindex-tagia.
Canonical-tunniste duplikaattisisällölle
Kun sivustolla on useita hyvin samankaltaisia tai identtisiä sivuja, canonical-linkki kertoo hakukoneille, mikä versioista on ensisijainen. Hakukone keskittää tällöin sijoituksen ja indeksoinnin arvon valitsemallesi pääsivulle sen sijaan, että samankaltaiset sivut kilpailisivat keskenään hakutuloksissa.
Yllä mainitut keinot toimivat eri tilanteisiin: noindex sivun täydelliseen piilottamiseen hakutuloksista, robots.txt crawlauksen rajaamiseen ja canonical duplikaattien hallintaan. Voit tarkistaa Google Search Consolesta, miten hakukone on kunkin sivusi käsitellyt.