Почему мои страницы Nuxt / vue блокируются файлом robot.txt?

Это не вопрос о передовых методах SEO, а вопрос о том, как правильно настроить config.js и разделы скриптов в VUE

Я создал свой сайт с помощью Vue / Nuxt, и то, что раньше было для меня прогулкой с angular, теперь вызывает ошибки.

Моя общая проблема заключается в том, что я не уверен, правильно ли я создал свой раздел сценария, поскольку мои страницы не индексируются Google. В моем файле nuxt.config.js я создал карту сайта, robot.txt и некоторые общие метатеги. Для каждой страницы я создал динамические метатеги в разделе их скриптов.

Google Search Console выдает 3 типа ошибок.

  1. Некоторые страницы заблокированы моим robot.txt
  2. Некоторые страницы считаются дублированными относительными.
  3. При проверке моего сайта он не может найти страницы, не набрав '/' в конце URL-адреса. Это также видно при использовании инструмента SEO Screaming Frog.

Я предполагаю, что мне не хватает какой-то формы перенаправления, которая заставляет индексировать страницы поискового робота, заканчивающиеся на '/', поскольку они хорошо индексируются в Search Console?

Файл Nuxt.config.js (разделы, не весь контент отображается)

    head: {
    title: 'NorthArc',
    meta: [
      { charset: 'utf-8' },
      { name: 'viewport', content: 'width=device-width, initial-scale=1' },
      { name: 'language', content: 'da_DK' },
      { name: 'robots', content: 'index, follow' },
      { name: 'og:type', content: 'website' },
    ],
    link: [
      { rel: 'icon', type: 'image/x-icon', href: '/favicon.ico' },
    ]
  },

sitemap: {
    path: '/sitemap.xml',
    hostname: 'https://northarc.dk/',
    routes: [
      {
        url: '/',
        changefreq: 'monthly',
        priority: 1,
      },
      {
        url: '/team/',
        changefreq: 'monthly',
        priority: 1,
      },
      {
        url: '/groen-planlaegning/',
        changefreq: 'monthly',
        priority: 1,
      },
      {
        url: '/strategisk-samarbejde/',
        changefreq: 'monthly',
        priority: 1,
      },
      {
        url: '/blog/',
        changefreq: 'monthly',
        priority: 1,
      },
      {
        url: '/blog/er-ruteplanlaegning-svaert/',
        changefreq: 'monthly',
        priority: 1,
      },
      {
        url: '/blog/automatisk-ruteplanlaegning/',
        changefreq: 'monthly',
        priority: 1,
      },
      {
        url: '/faq/',
        changefreq: 'monthly',
        priority: 1,
      },
      {
        url: '/contact/',
        changefreq: 'monthly',
        priority: 1,
      },
      {
        url: '/policies/',
        changefreq: 'monthly',
        priority: 1,
      }
    ]
  },

  robots: {
    UserAgent: 'Googlebot',
    Disallow: ['/roi', '/pricing'],
    Sitemap: 'https://northarc.dk/sitemap.xml',

  },

Раздел сценария со страницы, которая считается заблокированной bt robot.txt и имеет дублированный rel-canonical.

    <script>
export default {
  name: 'home',
  head() {
    return {
      title: 'test',
      meta: [
        { 
        hid: 'description', 
        name: 'description', 
        content: 'test', 
        },
        { hid: 'robots', name: 'robots', content: 'index, follow' },
      {hid: 'og-title', property: 'og:title', content: 'Fjern spildtid på vejen og minimere antal kørte kilometer'},
      {hid: 'og-url', property: 'og:url', content: 'https://northarc.dk/groen-planlaegning'},
      {hid: 'og-description', property: 'og:description', content: 'test'},
      {hid: 'og-image', property: 'og:image', content: '/Applications/Northarc_landing/assets/Preview_sløret.jpg'},
      ],
      link: [
      { 
      rel: 'canonical', 
      href: 'https://northarc.dk/groen-planlaegning/' 
      }
    ] 
    }
  }
};
</script>

Примечания: (журнал изменений)

  1. Я попытался добавить '/' ко всем URL-адресам сайтов в моей карте сайта и в относительной канонической версии для приведенного выше примера страниц.
  2. Я попытался изменить пользователя robot.txt на googlebot, чтобы запретить использование двух страниц. Раньше пользователь был установлен на "*", где он все еще блокировал некоторые страницы.

vue.js nuxt.js robots.txt seo google-search-console
person Christoffer Høeg    schedule 06.01.2021    source источник

Ответы (1)


arrow_upward
0
arrow_downward

По умолчанию Nuxt разрешает каждый маршрут без косой черты или с завершающей косой чертой, например:

Сканеры могут определить его как дублированный контент.
Таким образом, вы можете определить, какой из URL является основным, с помощью канонического заголовка.

Но если вы хотите, чтобы URL-адреса оставались только с косой чертой в конце, вы должны разрешить только маршрут с конечной косой чертой в конфигурации маршрутизатора:

// nuxt.config.js

router: {
  trailingSlash: true
}

См. Документы https://nuxtjs.org/docs/2.x/configuration-glossary/configuration-router#trailingslash.

Кроме того, вам не нужно жестко задавать все свои маршруты в конфигурации модуля карты сайта, это автоматически для всех статических маршрутов, например:

// nuxt.config.js

sitemap: {
  hostname: 'https://northarc.dk',
  defaults: {
    changefreq: 'monthly',
    priority: 1,
    trailingSlash: true
  },
  exclude: ['roi', 'pricing'],
  trailingSlash: true // if necessary
},
person Nicolas Pennec    schedule 06.01.2021
comment
Привет, Николас Спасибо за ответ. Я пытался их реализовать и с нетерпением жду результатов. Новая карта сайта теперь правильно обнаружила 10 URL-адресов, но все еще говорит, что мой robot.txt блокирует 6 из них, даже несмотря на то, что все они имеют один и тот же раздел сценария. Обе строки ниже добавляются к каждому сектору скрипта сайтов: {hid: 'robots', name: 'robots', content: 'index, follow'}, link: [{rel: 'canonical', href: 'northarc.dk/groen-planlaegning '}] - person Christoffer Høeg; 07.01.2021
comment
@ ChristofferHøeg, можете ли вы дать нам список из 6 заблокированных маршрутов? - person Nicolas Pennec; 07.01.2021
comment
/ блог, / политики, / стратегиск-самарбейде, / блог / er-ruteplanlaegning-svaert, / блог / automatisk-ruteplanlaegning, / groen-planlaegning - person Christoffer Høeg; 07.01.2021