Иногда возникает такая ситуация, когда страница какого-либо сайта заблокирована с целью обхода ее GoogleBot’ом, однако при этом она все равно отображается в выдаче поисковика, поскольку на нее ведут ссылки с других страниц либо сайтов.
Такой результат, как правило, выглядит довольно нелепо – Google не может составить заголовок страницы, сниппет (описание) у нее также отсутствует.
Ранее поисковик в таких случаях сам пытался составить наиболее релевантный заголовок страницы, сниппет же зачастую оставался пустым.
Сейчас Google вместо пустого сниппета начинает показывать сообщение о причинах, почему не может вывести обычный сниппет.
В данном сообщении говорится, что описание страницы недоступно из-за файла robots.txt этого сайта. Далее предлагается узнать подробнее о причинах.
Переходя по приведенной Google ссылке, пользователь прочитает документ, который располагается в справочном разделе Google, в нем рассказывается о Блокировке и удалении страниц с помощью файла robots.txt.
Google таким образом не только поможет пользователям понять, что не в порядке с данной страницей, также он подсказывает вебмастеру о возможных проблемах на сайте.
Дополнительная информация: