Mikä on Robots.txt?

Robots.txt on tiedosto, jonka avulla voidaan antaa hakukoneiden roboteille erityisiä ohjeita miten sivustoa halutaan indeksoitavan. Erityisesti voit estää tiettyjen sivujen näkymisen hakukoneissa.

Yleisimmät Robots.txt tiedot

Estä hakukoneita indeksoimasta kaikki nettisivun sisältö

User-agent: *
Disallow: /

Estä tiettyä hakukonetta indeksoimasta tiettyä kansiota

User-agent: Googlebot
Disallow: /kansion-nimi/

Estä tiettyä hakukonetta indeksoimasta tiettyä sivua

User-agent: Googlebot
Disallow: /kansions-nimi/sivun-nimi.html

Sivukartta parametri

User-agent: *
Disallow:
Sitemap: http://www.sinunyritys.fi/sivukartta.xml

Mistä Robots.txt löytyy?

Tiedosto tulee aina lisätä palvelimen ylimpään hakemistoon. Eli tiedosto löytyy kirjoittamalla ”robots.txt” domainpäätteen loppuun. Esimerkiksi http://u55179.www2.webdomain.fi/robots.txt