Как настраивать файл robots.txt для правильного сканирования и индексирования сайта

Роботы сканирования (crawlers) это мощные, программные комплексы. Они сканируют сайт для того, чтобы добавить его в индекс своих баз, и дальнейшего показа пользователям поиска по поисковым запросам.

Как правильно, настроить robots.txt для своего сайта? расмотрим некоторые примеры.

Читать далее Как настраивать файл robots.txt для правильного сканирования и индексирования сайта

Как правильно использовать инструмент отклонения ссылок для google

Инструмент отклонения ссылок используется уже давно. Но не все правильно понимают его назначение и используют его, иногда бестолково и в убыток своему сайту.

И так, для чего не нужно использовать инструмент.

Читать далее Как правильно использовать инструмент отклонения ссылок для google