Wordpress Robots.txt имеет значение / feed?

У меня есть вопросы по SEO, Robots.txt и wordpress

Вот как выглядит мой файл robots.txt:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /feed
Disallow: /*/feed
Disallow: /wp-login.php
Disallow: /tag
Disallow: /trackback
Disallow: /*?*
Disallow: /archive/
Disallow: /rss/
Disallow: /about/trackback/
Disallow: /wp-register.php

В инструментах Google для веб-мастеров я вижу, что такие URL-адреса запрещены:

http://www.domain.com/date/article-title/feed/

Я предполагаю, что из-за Disallow / feed, теперь настоящий заголовок статьи - тот же URL без '/ feed /' http://www.domain.com/date/article-title/

Мой вопрос: будет ли правильный URL индексироваться поисковыми системами? Или мне его удалить из robots.txt? И что вы думаете о robots.txt? Я немного искал советы о том, что добавить, и вышел с этим, но когда я смотрю на более крупные сайты wordpress, у них нет половины элементов, которые есть в моих роботах txt файл.


wordpress robots.txt seo google-webmaster-tools search-engine
person Bombcode    schedule 18.11.2011    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Сам канал не будет проиндексирован, но содержащиеся в нем URL-адреса могут быть проиндексированы, если их URL-адреса специально не заблокированы в файле robots.txt.

Пока все статьи вашего блога проиндексированы, все остальное можно без проблем заблокировать. Похоже, что некоторые из заблокированных страниц бесполезны для пользователей и поисковых систем (например, страницы входа, страницы обратного отслеживания) или потенциально дублируют проблемы с контентом (например, архивы, страницы тегов). Бесполезные страницы должны быть немедленно заблокированы. Я бы позволил сканировать архивные и теговые страницы, но не индексировать. Таким образом, поисковые системы смогут переходить по ссылкам на этих страницах, что поможет им найти весь ваш контент. Это не будет сделано с файлом robots.txt, но либо с метатег или HTTP-заголовок.

person John Conde    schedule 18.11.2011
comment
Хорошо, значит, URL-адрес публикации будет в порядке, поскольку у них нет / feed? И я добавлю эти метатеги, вот ссылка на собственно robots.txt www.mugenbits.com/robots.txt - person Bombcode; 20.11.2011