Я добавил файл robots.txt и добавил несколько строк для ограничения доступа к некоторым папкам. Также я добавил ограничение для всех на доступ к этому файлу robots.txt с помощью файла .htaccess. Могут ли поисковые системы читать содержимое этого файла?
Может ли поисковая система читать robots.txt, если доступ для чтения ограничен?
Ответы (3)
Этот файл должен быть свободно читаемым. Поисковая система похожа на посетителей вашего сайта. Если посетитель не видит этот файл, то и поисковая система его не увидит.
Нет абсолютно никаких причин пытаться скрыть этот файл.
person
Florian Lemaitre
schedule
03.08.2016
Поисковые роботы должны иметь возможность HTTP-ПОЛУЧИТЬ ваш robots.txt, иначе они не смогут проанализировать файл и учесть вашу конфигурацию.
person
Juergen Gmeiner
schedule
03.08.2016
Ответ - нет! Но самый простой и безопасный способ — все же попробовать:
https://support.google.com/webmasters/answer/6062598?hl=ru
Инструмент robots.txt Tester показывает, блокирует ли файл robots.txt поисковые роботы Google определенные URL-адреса на вашем сайте. Например, вы можете использовать этот инструмент, чтобы проверить, может ли сканер Googlebot-Image сканировать URL-адрес изображения, которое вы хотите заблокировать в поиске картинок Google.
person
Croises
schedule
03.08.2016
Я ограничил доступ к своей папке администратора со всех IP-адресов, кроме моего IP-адреса в htaccess, а также добавил Disallow в эту папку в файле robots.. тогда что произойдет?
- person Mohammed Shafeek; 03.08.2016
