Er det enkelte ting du ikke vila at søkemotorene (google. yahoo, webcrawler osv..) skal indexsere?

Robots.txt er "redningen", dette er en protokoll som er utviklet for å fortelle søkemotorene hvilke "retningslinjer" de har på ditt nettsted.., husk på at søkemotorer i "gråsonen" har full mulighet til å gi f#¤" i dette, så det er ikke ment til å gjemme data som er på siten din, bare en måte å hindre at f.eks. google indexerer gjesteboka di...

I utgangs punktet er robots.txt, nettopp det.. - en tekstfil (robots.txt -duh) som du legger i "DocumentRoot".

Et helt enkelt oppsett kan være:

User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /editor/

Disallow: /help/

Disallow: /images/

Disallow: /includes/

Disallow: /language/

Disallow: /media/

Disallow: /modules/

Disallow: /templates/

Disallow: /installation/

Dette vil fortelle at alle (*) skal holde seg unna alt som er spesifisert etter Disallow:...
Husk at robots.txt er tilgjengelig for alle og vil også vise "urene" bot'er hva du ikke vil indexere...

Hvis du ikke vil bli indexert hos søkemotorer i det hele tatt, kan du sette:

User-agent: *
Disallow: /

Da definerer du at disse ikke for lov til å besøke noen sider på siten din.

Uhm, ja dett var dett for denne gang, mulig det kommer mer etterhvert, men inntil videre skal du være godt i gang med det som er nevnt..

-Happy surfin'