Mikä on robots.txt-tiedosto ja kuinka sitä käytetään?
Mikä on robots.txt-tiedosto ja kuinka sitä käytetään?
Robots.txt-tiedosto
Robots.txt-tiedosto on verkkosivuston juurikansiossa sijaitseva tekstitiedosto, joka antaa ohjeita hakukoneiden ”roboteille” siitä, mitkä sivut he voivat indeksoida ja mitkä sivut heidän tulee jättää huomiotta.
Käyttö
Robots.txt-tiedostoa käytetään säätelemään hakukoneiden indeksointia ja ohjaamaan niiden käyttäytymistä verkkosivustolla. Tiedostoa voi käyttää esimerkiksi estämään tiettyjen osioiden indeksoinnin tai ohjaamaan robottia sivuston eri osioiden läpi prioriteettijärjestyksessä.
Esimerkki robots.txt-tiedostosta
User-agent: *
Disallow: /private/
Yllä oleva esimerkki kieltää kaikkia ”robottien” käyttäjiä indeksoimasta ”/private/”-kansiota verkkosivustolla.
Lisätietoja
Jos haluat lukea lisää robots.txt-tiedoston käytöstä ja sen syntaksista, voit tutustua Google Search Console -sivuston ohjeisiin täältä.
