Jeśli wyszukiwarki mają indeksować całą stronę, plik robots.txt jest niepotrzebny. Plik robots.txt stosujemy tylko, gdy mamy nie indeksować jakiejś treści.
Dostęp dla wszystkich robotów:
User-agent: *
Dostęp tylko dla robotów googlebot:
User-agent: Googlebot
Blokowanie robotom dostępu do konkretnego folderu, jego podfolderów i plików:
Disallow: /folder-prywatny/
Zapobieganie pobieraniu przez roboty konkretnych plikow:
Disallow: /prywatny-plik.html
Wpis Allow umożliwia tworzenie wyjątków dla reguł określonych we wpisach Disallow
Disallow: /folder-prywatny/
Allow: /folder-prywatny/polityka.html
Znak gwiazdkioznacza jeden lub więcej dowolnych znaków i może posłużyć do; zablokowania identyfikatorów sesji (pierwszy wiersz) lub miesięcy „luty”, „lipiec” i „listopad” (drugi wiersz).
Disallow: /default.aspx?sid=*
Disallow: /miesiące/l*/wpisy/
Znak dolara powoduje wyłączenie z indeksacji adresów kończących się znakami poprzedzającymi $. Najczęściej stosuje się go w połączeniu ze znakiem gwiazdki.
Disallow: /*php$A
Określa lokalizację mapy witryny. Można podać wiele lokalizacji: dla komórek, video
Sitemap: http://www.strrona.pl/lokalizacja/sitemap.xml
