Как использовать Redis в Ruby on Rails для эффективного получения скалярного произведения двух хэшей

Вам нужно будет профилировать его, чтобы быть уверенным, но я подозреваю, что вы теряете много времени при сериализации/десериализации объектов JSON. Вместо того, чтобы превращать token_vector в строку JSON, почему бы не поместить ее непосредственно в Redis, поскольку у Redis есть свой собственный хеш. тип?

REDIS.hmset "feature1",   *Feature.find(1).token_vector.flatten
# ...
REDIS.hmset "feature25",  *Feature.find(25).token_vector.flatten

Что делает Hash#flatten, так это превращает хэш типа { 'a' => 1, 'b' => 2 } в массив типа [ 'a', 1, 'b', 2 ], а затем мы используем splat (*) для отправки каждого элемента массива в качестве аргумента в Redis#hmset ("m" в "hmset" означает "несколько", как в «установить несколько хеш-значений одновременно»).

Затем, когда вы хотите вернуть его, используйте Redis#hgetall, который автоматически возвращает Ruby Hash:

def self.topicize token_vector
  feature_vector = FeatureVector.new

  feature_vector.push locate( token_vector, REDIS.hgetall "feature1" )
  # ...
  feature_vector.push locate( token_vector, REDIS.hgetall "feature25" )

  feature_vector
end

Однако! Поскольку вы заботитесь только о значениях, а не о ключах из хэша, вы можете немного упростить процесс, используя Redis#hvals, который просто возвращает массив значений вместо hgetall.

Во-вторых, вы можете потратить много циклов на locate, для которого вы не предоставили исходный код, но есть много способов написать метод скалярного произведения на Ruby, и некоторые из них более производительны, чем другие. В этой ветке ruby-talk освещаются некоторые ценные вопросы. Один из плакатов указывает на NArray, библиотеку, реализующую числовые массивы и векторы на C.

Если я правильно понимаю ваш код, его можно было бы переопределить примерно так (prereq: gem install narray):

require 'narray'

def self.topicize token_vector
  # Make sure token_vector is an NVector
  token_vector  = NVector.to_na token_vector unless token_vector.is_a? NVector
  num_feats     = 25

  # Use Redis#multi to bundle every operation into one call.
  # It will return an array of all 25 features' token_vectors.
  feat_token_vecs = REDIS.multi do
    num_feats.times do |feat_idx|
      REDIS.hvals "feature#{feat_idx + 1}"
    end
  end 

  pad_to_len = token_vector.length

  # Get the dot product of each of those arrays with token_vector
  feat_token_vecs.map do |feat_vec|
    # Make sure the array is long enough by padding it out with zeroes (using
    # pad_arr, defined below). (Since Redis only returns strings we have to
    # convert each value with String#to_f first.)
    feat_vec = pad_arr feat_vec.map(&:to_f), pad_to_len

    # Then convert it to an NVector and do the dot product
    token_vector * NVector.to_na(feat_vec)

    # If we need to get a Ruby Array out instead of an NVector use #to_a, e.g.:
    # ( token_vector * NVector.to_na(feat_vec) ).to_a
  end
end

# Utility to pad out array with zeroes to desired size
def pad_arr arr, size
  arr.length < size ?
    arr + Array.new(size - arr.length, 0) : arr
end

Надеюсь, это полезно!

На самом деле это не ответ, а просто продолжение моего предыдущего комментария, поскольку это, вероятно, не вписывается в комментарий. Похоже, проблема Hash/TokenVector могла быть не единственной проблемой. Я делаю:

token_vector = Feature.find(1).token_vector
Analysis.locate( token_vector, TokenVector[ REDIS.hgetall( "feature1" ) ] )

и получить эту ошибку:

TypeError: String can't be coerced into Float
from /Users/RedApple/S/lib/analysis/vectors.rb:26:in `*'
from /Users/RedApple/S/lib/analysis/vectors.rb:26:in `block in dot'
from /Users/RedApple/S/lib/analysis/vectors.rb:24:in `each'
from /Users/RedApple/S/lib/analysis/vectors.rb:24:in `inject'
from /Users/RedApple/S/lib/analysis/vectors.rb:24:in `dot'
from /Users/RedApple/S/lib/analysis/analysis.rb:223:in `locate'
from (irb):6
from /Users/RedApple/.rvm/rubies/ruby-1.9.2-p290/bin/irb:16:in `<main>'

Analysis#locate выглядит так:

def self.locate vector1, vector2
  vector1.dot vector2
end

Вот соответствующая часть analysis/vectors.rb, строки 23-28, метод TokenVector#dot:

def dot vector
  inject 0 do |product,item|
    axis, value = item
    product + value * ( vector[axis] || 0 )
  end
end

Я не уверен, в чем проблема.