Znacznik meta dla robotów (noindex, follow) stanowi znacznie lepsze rozwiązanie od pliku robots.txt, gdyż równocześnie blokuje umieszczanie strony w indeksie wyszukiwarki (noindex) i przekazuje moc ratingową innym stronom (follow). Pliki robots.txt są użyteczne, ale powinny być stosowane tylko wtedy, gdy nie można użyć znacznika meta.
Pliki robots.txt zabezpieczają przed odwiedzeniem witryny przez robota wyszukiwarki, ale nie zawsze blokują stronę przed zaindeksowaniem. Blokowanie za pomocą plików robots.txt tworzy czarne dziury dla łączy (nie mogą one przekazać swojej mocy dalej).
Przeczytaj więcej o meta robots.
