Pliki robots.txt potrafią zablokować roboty wyszukiwarek, aby nie pobierały zawartości stron, jednak nie blokują umieszczania adresów URL w indeksie. Powoduje to, że część stron nie przekazuje swojej mocy ratingowej. Zalecamy więc wyczyszczenie zawartości pliku robots.txt i zamianę ograniczeń w analizie folderów na atrybut meta dla robotów „noindex,fol1ow”.
Lepiej stosuj meta dla robotów niż plik robots
lis 28, 2013 | Marketing internetowy
