Każda strona bezwzględnie powinna posiadać plik robots.txt. Plik ten powinien znaleźć się w głównym katalogu witryny wraz z plikiem index.html. Plik robots.txt jest plikiem tekstowym i może mieć na przykład następujący wygląd: user-agent:*znak * Jeżeli użyjesz...
