Mikä on Robots.txt?
Mikä on robots.txt-tiedosto?
Robots.txt on pieni tekstitiedosto, joka sijaitsee verkkosivuston juurihakemistossa ja jonka avulla sivuston ylläpitäjä antaa hakukoneiden roboteille ohjeita siitä, mitä sivuston osia ne saavat indeksoida ja mitä ei. Tiedosto ei ole tekninen este vaan vapaaehtoinen ohje: hyvin toimivat hakukoneet, kuten Google, noudattavat sitä, mutta se ei estä sivun sisältöä näkymästä muualla eikä suojaa arkaluonteista tietoa. Salasanasuojaus tai noindex-metatagi sopivat siihen tarkoitukseen paremmin.
Miksi robots.txt on tärkeä?
Robots.txt auttaa ohjaamaan hakukoneiden robotit sivuston tärkeimpiin osiin ja estämään niitä käymästä läpi esimerkiksi sisäisiä hakutulossivuja tai muita teknisesti epäolennaisia osioita. Robots.txt ei kuitenkaan takaa, että sivu pysyy pois hakutuloksista: estetty osoite voi silti näkyä haussa, jos siihen linkitetään muualta. Jos sivu halutaan varmasti pois hakutuloksista, käytä noindex-merkintää. Tiedostoon voidaan merkitä myös sivukartan (sitemap) sijainti, mikä auttaa hakukoneita löytämään sivuston sisällön kattavammin.
Yleisimmät robots.txt-määritykset
Estä hakukoneita indeksoimasta koko sivusto
User-agent: *
Disallow: /
Estä tiettyä hakukonetta indeksoimasta tiettyä kansiota
User-agent: Googlebot
Disallow: /kansion-nimi/
Estä tiettyä hakukonetta indeksoimasta tiettyä sivua
User-agent: Googlebot
Disallow: /kansion-nimi/sivun-nimi.html
Estä yksittäinen, ei-toivottu robotti kokonaan
User-agent: BadBot
Disallow: /
Salli kaikki ja ilmoita sivukartan sijainti
User-agent: *
Disallow:
Sitemap: https://www.sinunyritys.fi/sivukartta.xml
Kuinka luon ja muokkaan robots.txt-tiedoston?
Robots.txt on tavallinen tekstitiedosto, jonka voi luoda millä tahansa tekstieditorilla. Tallenna tiedosto nimellä ”robots.txt” ja lataa se palvelimen juurihakemistoon, jotta se löytyy osoitteesta oma-domain.fi/robots.txt. Monet julkaisujärjestelmät, kuten WordPress, tarjoavat myös liitännäisen tai asetuksen, jonka kautta tiedoston sisältöä voi muokata suoraan hallintapaneelista.
Ole tarkkana sääntöjä kirjoittaessasi: yksikin väärä Disallow-rivi voi estää koko sivuston näkymisen hakutuloksissa. Tarkista muutosten jälkeen esimerkiksi Google Search Consolen robots.txt-raportista, että Google on hakenut tiedoston uusimman version ja ettei siinä ole virheitä.
Mistä robots.txt löytyy?
Tiedosto sijaitsee aina palvelimen ylimmässä hakemistossa eli sivuston juuressa, ei missään alikansiossa. Se löytyy lisäämällä domainin loppuun ”/robots.txt”, esimerkiksi https://www.sinunyritys.fi/robots.txt.
