Генераторы карты сайта не могут создать карту сайта

У меня есть этот сайт https://shopus.pk. Я не могу создавать карты сайта с помощью инструментов генератора файлов Sitemap. Они просто выдают ошибку типа «Ошибка: 422 Unprocessable Entity» или просто дают мне только 1 URL-адрес, например:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd">
</urlset>

Я понимаю, что есть какая-то проблема, связанная, вероятно, с настройками безопасности веб-сайта или сервера. Но, пожалуйста, помогите мне определить проблему. Спасибо

Кстати, мой сайт размещен на DreamHost. Но я не думаю, что дримхост имеет к этому какое-то отношение.

Я пробовал https://www.xml-sitemaps.com/ , http://www.web-site-map.com/, http://www.check-domains.com/sitemap/index.php , https://websiteseochecker.com/html-sitemap-generator/ и многие другие.

Также я скачал и попробовал A1 Sitemap Generator, gnucrawlandmap, SiteMapBuilder, HSEO Sitemap Generator и еще несколько бесплатных инструментов для создания карты сайта.

Все вышеперечисленные веб-сайты или инструменты выдают ошибку доступа или возвращают только 1 или 2 URL-адреса.

Поскольку мой веб-сайт построен на Ruby on Rails, мой файл конфигурации для производственной среды приведен ниже:

Rails.application.configure do
  # Settings specified here will take precedence over those in config/application.rb.

  # Code is not reloaded between requests.
  config.cache_classes = true

  # Eager load code on boot. This eager loads most of Rails and
  # your application in memory, allowing both threaded web servers
  # and those relying on copy on write to perform better.
  # Rake tasks automatically ignore this option for performance.
  config.eager_load = true

  # Full error reports are disabled and caching is turned on.
   config.consider_all_requests_local       = false
   config.action_controller.perform_caching = true

  # Enable Rack::Cache to put a simple HTTP cache in front of your application
  # Add `rack-cache` to your Gemfile before enabling this.
  # For large-scale production use, consider using a caching reverse proxy like
  # NGINX, varnish or squid.
  # config.action_dispatch.rack_cache = true

  # Disable serving static files from the `/public` folder by default since
  # Apache or NGINX already handles this.
  config.serve_static_files = ENV['RAILS_SERVE_STATIC_FILES'].present?

  # Compress JavaScripts and CSS.
  config.assets.js_compressor = :uglifier
  # config.assets.css_compressor = :sass

  # Do not fallback to assets pipeline if a precompiled asset is missed.
  config.assets.compile = true

  # Asset digests allow you to set far-future HTTP expiration dates on all assets,
  # yet still be able to expire them through the digest params.
  config.assets.digest = true

  # `config.assets.precompile` and `config.assets.version` have moved to config/initializers/assets.rb

  # Specifies the header that your server uses for sending files.
  # config.action_dispatch.x_sendfile_header = 'X-Sendfile' # for Apache
  # config.action_dispatch.x_sendfile_header = 'X-Accel-Redirect' # for NGINX

  # Force all access to the app over SSL, use Strict-Transport-Security, and use secure cookies.
  config.force_ssl = true

  # Use the lowest log level to ensure availability of diagnostic information
  # when problems arise.
  config.log_level = :error

  # Prepend all log lines with the following tags.
  # config.log_tags = [ :subdomain, :uuid ]

  # Use a different logger for distributed setups.
  # config.logger = ActiveSupport::TaggedLogging.new(SyslogLogger.new)

  # Use a different cache store in production.
  # config.cache_store = :mem_cache_store

  # Enable serving of images, stylesheets, and JavaScripts from an asset server.
  # config.action_controller.asset_host = 'http://assets.example.com'

  # Ignore bad email addresses and do not raise email delivery errors.
  # Set this to true and configure the email server for immediate delivery to raise delivery errors.
  # config.action_mailer.raise_delivery_errors = false

  config.action_mailer.default_url_options = { host: "https://shopus.pk" }
  # configure action_mailer
   config.action_mailer.delivery_method = :smtp
   config.action_mailer.smtp_settings = {}
  config.action_mailer.raise_delivery_errors = true
  config.action_mailer.perform_deliveries = true
  config.action_mailer.asset_host = 'https://shopus.pk'
  # Enable locale fallbacks for I18n (makes lookups for any locale fall back to
  # the I18n.default_locale when a translation cannot be found).
  config.i18n.fallbacks = true

   # Send deprecation notices to registered listeners.
   config.active_support.deprecation = :notify

  # Use default logging formatter so that PID and timestamp are not suppressed.
   config.log_formatter = ::Logger::Formatter.new

   # Do not dump schema after migrations.
  config.active_record.dump_schema_after_migration = false
end

И вот как выглядит мой контроллер приложений:

class ApplicationController < ActionController::Base
  # Prevent CSRF attacks by raising an exception.
  # For APIs, you may want to use :null_session instead.
  protect_from_forgery with: :exception
  include SessionsHelper
  include ApplicationHelper
  private
  # Confirms a logged-in user.
  def logged_in_customer
    unless logged_in?
      store_location
      redirect_to login_url
    end
  end
end

Дайте мне знать, если вам нужно что-то еще, чтобы решить эту проблему.


person Hussain Niazi    schedule 26.06.2017    source источник
comment
Не могли бы вы добавить информацию о ваших инструментах генератора Sitemap? А не могли бы вы выложить свой файл конфигурации?   -  person everyman    schedule 27.06.2017
comment
@everyman Я предоставил некоторые подробности о том, что вы просили. Дайте мне знать, если вам потребуется что-то еще, чтобы определить проблему. Спасибо   -  person Hussain Niazi    schedule 27.06.2017
comment
Вы пробовали этот github.com/kjvarga/sitemap_generator, он идеально подходит для рельсов. Просто следуйте инструкциям github.com/kjvarga/sitemap_generator#show-me.   -  person everyman    schedule 27.06.2017
comment
@всем спасибо. да я это вчера видел. похоже, мне придется использовать этот драгоценный камень, поскольку я не могу найти более простого решения. Спасибо, в любом случае :)   -  person Hussain Niazi    schedule 27.06.2017


Ответы (1)


Хорошо, похоже, я понял проблему. Но все еще не уверен в этом.

Поэтому, потерпев неудачу, попробовав почти все генераторы карт сайта, я решил создать свой собственный генератор карт сайта, используя Ruby Gems Nokogiri и Mechanize. Но, к моему удивлению, всякий раз, когда я пытался извлечь HTML-код со своего веб-сайта, появлялась одна и та же ошибка «422 Unprocessable Entity». Это было именно то сообщение об ошибке, которое я получал от нескольких генераторов карт сайта.

Я удалил "protect_from_forgery with::exception" из контроллера приложений, и генераторы карты сайта начали работать на моем веб-сайте.

Но это было неправильно, потому что там должно быть "защитить_от_подделки с: :exception". И у меня есть 2 других веб-сайта с "protect_from_forgery with: :exception", включенными в контроллеры приложений. Генераторы карты сайта не обнаруживают никаких проблем при работе с этими двумя веб-сайтами.

Единственная разница между моим первым сайтом и двумя другими заключалась в том, что мой первый сайт использовал ajax, а два других были простыми. Итак, я, наконец, понял, что когда я удаляю строку format.js из

respond_to do |format|
   format.js
   format.html
end

блок кода из моего действия index в главном контроллере, все начнет работать. Позже я понял, что должен был написать код response_to с format.js ниже format.html вот так

respond_to do |format|
   format.html
   format.js
end

После этого я изменил весь код response_to в каждом действии всех контроллеров с помощью format.html выше format.js.

Теперь все работает нормально.

Однако я все еще в замешательстве и не уверен, правильно ли я определил причину проблемы? Я еще начинающий программист. Также я не понимаю, почему порядок форматов format.html и format.js имеет значение в этом случае.

Я открыт для всех предложений и немного больше понимания проблемы.

person Hussain Niazi    schedule 07.07.2017