Мы используем Joomla 3.4.4 для веб-сайта нашей компании. У нас есть mod_rewrite и SEF-Urls.
На веб-сайте нашей компании мы используем категории только для внутренней организации статей, а не для общего доступа.
Тем не менее, Google каким-то образом узнал категории и отображает их в результатах поиска. Люди, нажимающие на результаты поиска по этим категориям, попадают на страницу с несколькими статьями, что не предназначено.
Как запретить Google индексировать страницы категорий?
Я попытаюсь установить для поля robots в параметрах категории значение «noindex, follow». Надеюсь это поможет.
Быстрый обходной путь: добавление некоторых RewriteRules в .htaccess. Они перенаправляют нежелательные запросы категории на главную страницу. Я просмотрел все результаты Google, и к настоящему времени у меня есть около 10 RewriteRules для нежелательных URI.
Это была серьезная проблема с нашими веб-сайтами. Поиски Google будут показывать несколько нежелательных категорий и включать префикс номера (10-видео). Щелчок по поиску в Google покажет дюжину различных статей с пометками noindex, nofollow. Поскольку сама категория была помечена как noindex, nofollow, а глобальным значением по умолчанию было noindex, nofollow, было полной загадкой, почему это происходит.
После нескольких лет разочарований я, наконец, решил это. Есть две части. Долгосрочное постоянное решение и краткосрочное временное решение, которое удалит их из поиска Google в течение 24 часов.
Долгосрочное постоянное решение — запретить категории в robots.txt. При повторном сканировании сайта они должны исчезнуть. Добавьте оскорбительные категории в конец файла robots.txt. Это также позаботится об их подкатегориях. Они чувствительны к регистру в Google, поэтому обязательно используйте только нижний регистр. (Запретить: /10-видео)
Краткосрочное 90-дневное решение — вручную удалить URL-адреса в Google Search Console. В настоящее время это можно сделать только в старой версии GSC. В новой версии его пока нет.
В новой консоли поиска нажмите «Индекс»: «Покрытие». Убедитесь, что вкладка Valid выделена. Внизу нажмите «Проиндексировано, не отправлено в карту сайта», чтобы увидеть оскорбительные ссылки.
В старой версии перейдите в Google Index: Удалить URL-адреса. Нажмите «Временно скрыть». Введите только категорию (10 видео), поскольку она автоматически добавит ссылку на веб-сайт. Это также позаботится об их подкатегориях. На следующий день плохие URL-адреса исчезнут (на 90 дней). Они чувствительны к регистру, поэтому обязательно используйте только нижний регистр.
