SEOНовости

Google: мы можем индексировать контент даже без его сканирования

С такой ситуацией столкнулся частный сеошник, потребовав объяснений у представителей поисковой системы:

«Прокомментируйте, пожалуйста, следующее. У меня есть сайт, 100% страниц которого заблокированы в файле robots.txt. Однако в индексе Google присутствуют названия и описания этих страниц, равно как и другой контент с сайта».

Google: мы можем индексировать контент даже без его сканирования

Ответ сотрудника Google:

«URL-адрес, даже если он заблокирован в robots.txt, может быть проиндексирован без сканирования ботом. Обычно это происходит благодаря внешним или внутренним ссылкам, которые указывают на такой контент».

Ваш e-mail не будет опубликован. Он потребуется для подтверждения Вашего поста.
Оформление текста Нажмите «Ввод», чтобы отправить ответ.