Każda strona bezwzględnie powinna posiadać plik robots.txt. Plik ten powinien znaleźć się w głównym katalogu witryny wraz z plikiem index.html. Plik robots.txt jest plikiem tekstowym i może mieć na przykład następujący wygląd:
user-agent:*znak *
Jeżeli użyjesz gwiazdki to regułka będzie dotyczyć wszystkich robotów odwiedzających stronę WWW i czytających plik robots.txt. Na to, jakie roboty Cię odwiedzają i ile pobierają danych, możesz sprawdzić między innymi w systemie statystyk o nazwie AWStats
AWStats — System jest darmowy, a do jego instalacji wymagane jest konto z dostępem do logów serwera.
Pamiętaj, że jeżeli decydujesz się na używanie znacznika <meta name=”robots” />, to powinien się on znaleźć w kodzie wszystkich podstron.
