Ошибка «Слишком глубокое вложение» при получении JSON с использованием HTTParty

Я пишу очень простую прокси-оболочку для Reddit API, чтобы я мог делать междоменные запросы JSONP (насколько мне известно, Reddit не разрешает вызовы JSONP).

Я использую гем HTTParty, чтобы сделать вызов и получить ответ, который я немедленно отображаю как json.

Я отлично получаю субреддит json, используя это как мой маршрут:

  match "r/:name" => "api#subreddit"

... и это как действие моего контроллера:

def subreddit
    render :json => HTTParty.get("http://www.reddit.com/r/" + params[:name] + "/.json"), :callback => params[:callback]
end

Например, возвращаемый JSON выглядит следующим образом: http://www.reddit.com/r/pics/.json

Моя проблема заключается в том, что я пытаюсь получить комментарии для определенного потока.

Мой маршрут таков:

match "r/:name/comments/:id" => "api#comments"

... и мое действие контроллера таково:

  def comments
    render :json => HTTParty.get("http://www.reddit.com/r/" + params[:name] + "/comments/" + params[:id] + "/.json"), :callback => params[:callback]    
  end

JSON, который я хочу вернуть, можно увидеть здесь: http://www.reddit.com/r/pics/comments/rhzgc/.json

Однако, когда я вызываю это действие, я получаю следующее сообщение об ошибке:

MultiJson::DecodeError in ApiController#comments
Nesting of 20 is too deep

Полная трассировка стека выглядит следующим образом:

json (1.6.6) lib/json/common.rb:148:in `parse'
json (1.6.6) lib/json/common.rb:148:in `parse'
multi_json (1.2.0) lib/multi_json/engines/json_common.rb:9:in `decode'
multi_json (1.2.0) lib/multi_json.rb:81:in `decode'
httparty (0.8.1) lib/httparty/parser.rb:116:in `json'
httparty (0.8.1) lib/httparty/parser.rb:136:in `parse_supported_format'
httparty (0.8.1) lib/httparty/parser.rb:103:in `parse'
httparty (0.8.1) lib/httparty/parser.rb:66:in `call'
httparty (0.8.1) lib/httparty/request.rb:222:in `parse_response'
httparty (0.8.1) lib/httparty/request.rb:192:in `handle_response'
httparty (0.8.1) lib/httparty/request.rb:75:in `perform'
httparty (0.8.1) lib/httparty.rb:391:in `perform_request'
httparty (0.8.1) lib/httparty.rb:343:in `get'
httparty (0.8.1) lib/httparty.rb:423:in `get'
app/controllers/api_controller.rb:12:in `comments'
actionpack (3.1.1) lib/action_controller/metal/implicit_render.rb:4:in `send_action'
actionpack (3.1.1) lib/abstract_controller/base.rb:167:in `process_action'
actionpack (3.1.1) lib/action_controller/metal/rendering.rb:10:in `process_action'
actionpack (3.1.1) lib/abstract_controller/callbacks.rb:18:in `block in process_action'
activesupport (3.1.1) lib/active_support/callbacks.rb:416:in `_run__2872109728488784816__process_action__2261783022290592822__callbacks'
activesupport (3.1.1) lib/active_support/callbacks.rb:386:in `_run_process_action_callbacks'
activesupport (3.1.1) lib/active_support/callbacks.rb:81:in `run_callbacks'
actionpack (3.1.1) lib/abstract_controller/callbacks.rb:17:in `process_action'
actionpack (3.1.1) lib/action_controller/metal/rescue.rb:17:in `process_action'
actionpack (3.1.1) lib/action_controller/metal/instrumentation.rb:30:in `block in process_action'
activesupport (3.1.1) lib/active_support/notifications.rb:53:in `block in instrument'
activesupport (3.1.1) lib/active_support/notifications/instrumenter.rb:21:in `instrument'
activesupport (3.1.1) lib/active_support/notifications.rb:53:in `instrument'
actionpack (3.1.1) lib/action_controller/metal/instrumentation.rb:29:in `process_action'
actionpack (3.1.1) lib/action_controller/metal/params_wrapper.rb:201:in `process_action'
activerecord (3.1.1) lib/active_record/railties/controller_runtime.rb:18:in `process_action'
actionpack (3.1.1) lib/abstract_controller/base.rb:121:in `process'
actionpack (3.1.1) lib/abstract_controller/rendering.rb:45:in `process'
actionpack (3.1.1) lib/action_controller/metal.rb:193:in `dispatch'
actionpack (3.1.1) lib/action_controller/metal/rack_delegation.rb:14:in `dispatch'
actionpack (3.1.1) lib/action_controller/metal.rb:236:in `block in action'
actionpack (3.1.1) lib/action_dispatch/routing/route_set.rb:65:in `call'
actionpack (3.1.1) lib/action_dispatch/routing/route_set.rb:65:in `dispatch'
actionpack (3.1.1) lib/action_dispatch/routing/route_set.rb:29:in `call'
rack-mount (0.8.3) lib/rack/mount/route_set.rb:152:in `block in call'
rack-mount (0.8.3) lib/rack/mount/code_generation.rb:96:in `block in recognize'
rack-mount (0.8.3) lib/rack/mount/code_generation.rb:89:in `optimized_each'
rack-mount (0.8.3) lib/rack/mount/code_generation.rb:95:in `recognize'
rack-mount (0.8.3) lib/rack/mount/route_set.rb:141:in `call'
actionpack (3.1.1) lib/action_dispatch/routing/route_set.rb:532:in `call'
actionpack (3.1.1) lib/action_dispatch/middleware/best_standards_support.rb:17:in `call'
rack (1.3.6) lib/rack/etag.rb:23:in `call'
rack (1.3.6) lib/rack/conditionalget.rb:25:in `call'
actionpack (3.1.1) lib/action_dispatch/middleware/head.rb:14:in `call'
actionpack (3.1.1) lib/action_dispatch/middleware/params_parser.rb:21:in `call'
actionpack (3.1.1) lib/action_dispatch/middleware/flash.rb:243:in `call'
rack (1.3.6) lib/rack/session/abstract/id.rb:195:in `context'
rack (1.3.6) lib/rack/session/abstract/id.rb:190:in `call'
actionpack (3.1.1) lib/action_dispatch/middleware/cookies.rb:331:in `call'
activerecord (3.1.1) lib/active_record/query_cache.rb:62:in `call'
activerecord (3.1.1) lib/active_record/connection_adapters/abstract/connection_pool.rb:477:in `call'
actionpack (3.1.1) lib/action_dispatch/middleware/callbacks.rb:29:in `block in call'
activesupport (3.1.1) lib/active_support/callbacks.rb:392:in `_run_call_callbacks'
activesupport (3.1.1) lib/active_support/callbacks.rb:81:in `run_callbacks'
actionpack (3.1.1) lib/action_dispatch/middleware/callbacks.rb:28:in `call'
actionpack (3.1.1) lib/action_dispatch/middleware/reloader.rb:68:in `call'
rack (1.3.6) lib/rack/sendfile.rb:101:in `call'
actionpack (3.1.1) lib/action_dispatch/middleware/remote_ip.rb:48:in `call'
actionpack (3.1.1) lib/action_dispatch/middleware/show_exceptions.rb:47:in `call'
railties (3.1.1) lib/rails/rack/logger.rb:13:in `call'
rack (1.3.6) lib/rack/methodoverride.rb:24:in `call'
rack (1.3.6) lib/rack/runtime.rb:17:in `call'
activesupport (3.1.1) lib/active_support/cache/strategy/local_cache.rb:72:in `call'
rack (1.3.6) lib/rack/lock.rb:15:in `call'
actionpack (3.1.1) lib/action_dispatch/middleware/static.rb:53:in `call'
railties (3.1.1) lib/rails/engine.rb:456:in `call'
railties (3.1.1) lib/rails/rack/content_length.rb:16:in `call'
railties (3.1.1) lib/rails/rack/log_tailer.rb:14:in `call'
rack (1.3.6) lib/rack/handler/webrick.rb:59:in `service'
/Users/emcummings/.rvm/rubies/ruby-1.9.2-p290/lib/ruby/1.9.1/webrick/httpserver.rb:111:in `service'
/Users/emcummings/.rvm/rubies/ruby-1.9.2-p290/lib/ruby/1.9.1/webrick/httpserver.rb:70:in `run'
/Users/emcummings/.rvm/rubies/ruby-1.9.2-p290/lib/ruby/1.9.1/webrick/server.rb:183:in `block in start_thread'

Что я здесь делаю неправильно? Если JSON слишком велик для разбора (мне трудно в это поверить!), что я могу сделать?

ИЗМЕНИТЬ:

Похоже, что возврат к стандартной NET::HTTP lib решил мою проблему:

uri = URI.parse("http://www.reddit.com/r/pics/comments/rhzgc/.json")    
response = Net::HTTP.get_response(uri)
render :json => response.body, :callback => params[:callback]
#OK!

... но мне все еще любопытно, почему я не могу выполнить тот же вызов с HTTParty!

Спасибо за помощь!


ruby ruby-on-rails json httparty
person Evan    schedule 29.03.2012    source источник

Ответы (3)


arrow_upward
3
arrow_downward

Дело не в том, что JSON слишком велик. Он слишком глубоко вложен. HTTParty пытается декодировать результаты, которые он получает автоматически. Следуя вашей трассировке стека и зависимостям HTTParty, он опирается на multi_json, который использует гем json.

Внутри json находится lib/json/pure/parser.rb. Там установлен максимальный набор глубины по умолчанию, в частности, в строке 79. Что-то в вашем возвращаемом JSON имеет глубину 20+ уровней, что вызывает исключение.

 if !opts.key?(:max_nesting) # defaults to 19
   @max_nesting = 19
person jdl    schedule 29.03.2012
comment
Интересно - я подумал, что это связано с парсером json где-то внутри HTTParty - есть ли причина для произвольного ограничения? - person Evan; 29.03.2012
comment
Я почти уверен, что гем JSON — это тот же самый гем, который почти все остальное использует по умолчанию, включая Rails. HTTParty просто косвенно требует этого через multi_json. Что касается того, почему они выбрали 19 в качестве лимита по умолчанию, я понятия не имею. Это параметр, который можно установить, но я не уверен, что HTTParty раскрывает его легко или нет. - person jdl; 29.03.2012
comment
HTTParty, похоже, не предоставляет никаких параметров для базового синтаксического анализатора json - [он не передает хэш параметров (https://github.com/jnunemaker/httparty/blob/master/lib/httparty/parser.rb#L114) в методы загрузки или декодирования. - person jabley; 24.07.2012

arrow_upward
3
arrow_downward

Переключился на парсер OJ JSON, добавив в свой Gemfile следующее:

gem 'oj'

и этот вопрос решился сам собой.

person MatthewFord    schedule 23.07.2012
comment
Это отлично сработало и для меня; это должен быть принятый ответ. - person duma; 13.02.2013

arrow_upward
3
arrow_downward

Похоже, это можно обойти, вызвав to_json с установленной опцией max_nesting.

json = obj.to_json(max_nesting: 50)
person Matt Huggins    schedule 13.02.2013