Google может индексировать заблокированные страницы без сканирования

Google может индексировать заблокированные страницы без сканирования

Google может индексировать URL, заблокированные в robots.txt, не сканируя их. Об этом заявил сотрудник поиска Джон Мюллер, отвечая на вопрос одного из вебмастеров в Twitter. В частности, пользователь спрашивал, почему по сайту, который полностью заблокирован в robots.txt, в результатах поиска отображаются заголовки и описания страниц. Мюллер ответил так: «URL могут индексироваться без сканирования, если они […]

Сообщение Google может индексировать заблокированные страницы без сканирования появились сначала на Searchengines.ru.



Источник