Zaznacz stronę

Znacznik meta dla robotów vs robots.txt

Znacznik meta dla robotów (noindex, follow) stanowi znacznie lepsze rozwiązanie od pliku robots.txt, gdyż równocześnie blokuje umieszczanie strony w indeksie wyszukiwarki (noindex) i przekazuje moc ratingową innym stronom (follow). Pliki robots.txt są użyteczne, ale...
Plik robots.txt – jego składnia

Plik robots.txt – jego składnia

Jeśli wyszukiwarki mają indeksować całą stronę, plik robots.txt jest niepotrzebny. Plik robots.txt stosujemy tylko, gdy mamy nie indeksować jakiejś treści. Dostęp dla wszystkich robotów: User-agent: * Dostęp tylko dla robotów googlebot: User-agent: Googlebot...