Robots.txt on tiedosto, jonka avulla voidaan antaa hakukoneiden roboteille erityisiä ohjeita miten sivustoa halutaan indeksoitavan. Erityisesti voit estää tiettyjen sivujen näkymisen hakukoneissa.
User-agent: *
Disallow: /
User-agent: Googlebot
Disallow: /kansion-nimi/
User-agent: Googlebot
Disallow: /kansions-nimi/sivun-nimi.html
User-agent: *
Disallow:
Sitemap: http://www.sinunyritys.fi/sivukartta.xml
Tiedosto tulee aina lisätä palvelimen ylimpään hakemistoon. Eli tiedosto löytyy kirjoittamalla ”robots.txt” domainpäätteen loppuun. Esimerkiksi http://u55179.www2.webdomain.fi/robots.txt