Noindex в файле robots.txt

Я всегда запрещал Google индексировать мой сайт с помощью файла robots.txt. Недавно я прочитал статью сотрудника Google, в которой он заявил, что вы должны делать это с помощью метатегов. Означает ли это, что Robots.txt не будет работать? Поскольку я работаю с CMS, мои возможности очень ограничены, и гораздо проще использовать файл robots.txt. Мой вопрос в том, что самое худшее может произойти, если я продолжу использовать файл robots.txt вместо метатегов.


robots.txt noindex
person Kevin    schedule 04.09.2018    source источник

Ответы (2)


arrow_upward
2
arrow_downward

Вот разница простыми словами:

  • Файл robots.txt управляет сканированием. Он инструктирует роботов (также известных как пауки), которые ищут страницы для сканирования, чтобы «держаться подальше» от определенных мест. Вы помещаете этот файл в корневой каталог вашего сайта.

  • Тег noindex управляет индексацией. Он сообщает паукам, что страница не должна быть проиндексирована. Вы помещаете этот тег в код соответствующей веб-страницы.

Используйте файл robots.txt, если вам нужен контроль на уровне каталога или на вашем сайте. Однако имейте в виду, что роботы не обязаны следовать этим директивам. Большинство из них, например Googlebot, но безопаснее держать любую особо конфиденциальную информацию вне общедоступных областей сайта.

Как и в случае с файлами robots.txt, теги noindex исключат страницу из результатов поиска. Страница по-прежнему будет сканироваться, но не будет проиндексирована. Используйте эти теги, если вы хотите управлять на уровне отдельной страницы.

В стороне от разницы между сканированием и индексированием: сканирование (через пауков) — это то, как паук поисковой системы отслеживает ваш сайт; результаты сканирования попадают в индекс поисковой системы. Хранение этой информации в индексе ускоряет получение релевантных результатов поиска — вместо сканирования каждой страницы, связанной с поиском, для оптимизации скорости выполняется поиск в индексе (базе данных меньшего размера).

Если бы индекса не было, поисковая система просматривала бы каждый бит данных или информации, связанной с поисковым запросом, и у всех нас было бы время приготовить и съесть пару бутербродов, ожидая отображения результатов поиска. Индекс использует пауков, чтобы поддерживать свою базу данных в актуальном состоянии.

Вот пример тега:

<meta name="robots" content="noindex,follow"/>

Теперь, когда вы прочитали и поняли приведенную выше информацию, я думаю, вы сможете ответить на свой вопрос самостоятельно;)

person iLuvLogix    schedule 04.09.2018

arrow_upward
0
arrow_downward

Действительно, была возможность GoogleBot, которая позволяла использовать:

  • без индекса
  • Не следует
  • Задержка сканирования

Но видно в GoogleBlog-News они больше не будут поддерживать эти (используемые 0,001%) команды с сентября 2019 года. Таким образом, вы должны использовать только метатеги на своей странице, чтобы быть в безопасности в будущем.

person kwoxer    schedule 05.07.2019