Запретить /feed и /trackback для роботов WordPress, но Google все еще индексирует

У меня возникла проблема с моим сайтом и файлом robots.txt. Я получил Disallow для URL-адресов /feed и /trackback на своих роботах, но по какой-то причине я все еще получаю URL-адрес моего веб-мастера Google, например http://www.mydomain.net/year/month/post.html/фид и http://www.mydomain.net/year/month/post.html/trackback, и я не знаю, как правильно это исправить. После этого мой сайт упал в посещении.

Кто-нибудь может мне помочь?

С Уважением

Это мой robots.txt

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Allow: /wp-content/uploads/
Disallow: /trackback
Disallow: /?ref=
Disallow: /feed
Disallow: /comments/feed
Disallow: /feed/$
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
Disallow: /?s= 
Disallow: /search

User-agent: Googlebot-Image
Allow: /

Sitemap: http://www.mydomain.net/sitemap.xml


wordpress robot feed trackback
person user2143527    schedule 29.03.2013    source источник

Ответы (2)


arrow_upward
1
arrow_downward

ваш файл robtos кажется в порядке, я думаю, вы неправильно поняли, как его использовать. Вы не можете предотвратить индексацию определенной папки, добавив регулярное выражение в файл робота, потому что robots.txt контролирует только активность сканера. Поэтому, чтобы предотвратить индексацию определенных страниц, вы должны использовать метатег robots.

person user3310736    schedule 14.02.2014

arrow_upward
0
arrow_downward

Я думаю, что ваша проблема заключается в использовании подстановочного знака * Это не требуется, просто используйте

Disallow: /feed/

То же самое относится ко всем другим использованиям дикого символа.

Также дикие символы не принимаются всеми поисковыми системами.

Вы можете попробовать одну из программ проверки синтаксиса robots.txt для получения дополнительной помощи.

person Roy    schedule 11.04.2013
comment
Я использую это и все еще получаю 150 ошибок /feed/ в веб-мастерах. Возможно, подстановочный знак необходим для отображения всех URL-адресов, заканчивающихся на /feed/ ? - person Ben Racicot; 24.08.2014