Mikä on robots.txt-tiedosto ja kuinka sitä käytetään?

Mikä on robots.txt-tiedosto ja kuinka sitä käytetään?

Robots.txt-tiedosto

Robots.txt-tiedosto on verkkosivuston juurikansiossa sijaitseva tekstitiedosto, joka antaa ohjeita hakukoneiden ”roboteille” siitä, mitkä sivut he voivat indeksoida ja mitkä sivut heidän tulee jättää huomiotta.

Käyttö

Robots.txt-tiedostoa käytetään säätelemään hakukoneiden indeksointia ja ohjaamaan niiden käyttäytymistä verkkosivustolla. Tiedostoa voi käyttää esimerkiksi estämään tiettyjen osioiden indeksoinnin tai ohjaamaan robottia sivuston eri osioiden läpi prioriteettijärjestyksessä.

Esimerkki robots.txt-tiedostosta


User-agent: *
Disallow: /private/


Yllä oleva esimerkki kieltää kaikkia ”robottien” käyttäjiä indeksoimasta ”/private/”-kansiota verkkosivustolla.

Lisätietoja

Jos haluat lukea lisää robots.txt-tiedoston käytöstä ja sen syntaksista, voit tutustua Google Search Console -sivuston ohjeisiin täältä.