Может кто-нибудь объяснить мне, как мне написать файл robots.txt, если я хочу, чтобы все поисковые роботы индексировали корень и некоторые определенные поддомены
User-agent: *
Allow: /
Allow: /subdomain1/
Allow: /subdomain2/
Это правильно? И куда мне его поставить? В корневой папке (public_html) или в каждой папке поддомена?
Невозможно указать правила для разных субдоменов в одном файле robots.txt. Данный файл robots.txt будет контролировать сканирование только субдомена, с которого он был запрошен. Если вы хотите заблокировать одни субдомены и разрешить другие, вам нужно обслуживать разные файлы robots.txt из разных субдоменов.
Например, если вы хотите разрешить сканирование http://crawlme.example.com/, но хотите заблокировать сканирование http://nocrawl.example.com/, тогда:
http://crawlme.example.com/robots.txt должен содержать:
# Allow everything:
User-agent: *
Disallow:
и http://nocrawl.example.com/robots.txt должны содержать:
# Block everything:
User-agent: *
Disallow: /
