Поиск в большом наборе данных в Rails

Я разрабатываю приложение Rails. У меня есть большой набор статических заголовков (около 3,5 млн), которые я много просматриваю. На данный момент набор данных хранится в моей базе данных PostgreSQL, и я ищу, используя индекс postgres и text_pattern_ops. Это работает довольно быстро, но я беспокоюсь, что это может не масштабироваться, так как количество моих поисков должно быстро увеличиваться.

Я подумал о том, чтобы сохранить свой набор данных в памяти в виде массива и использовать фильтры цветения/aho-coarsick для поиска, но не уверен, как и если это хороший подход.

По сути, я ищу быстрый и масштабируемый способ поиска в большом наборе данных с помощью Ruby on Rails.


person hrr    schedule 18.02.2014    source источник
comment
Это структурированные данные, которые вы можете извлечь из файлов и перенести в какую-либо базу данных?   -  person Shyam Habarakada    schedule 18.02.2014
comment
Он уже хранится в Postgres, я просто подумал, можно ли его хранить в Postgres (учитывая, что количество поисковых запросов растет), или мне следует использовать другой подход.   -  person hrr    schedule 18.02.2014
comment
Вы просите нас порекомендовать инструменты или высказать свое мнение, что не относится к теме Stack Overflow. Вы можете обнаружить, что ваш вопрос более актуален на dba.stackexchange.com.   -  person the Tin Man    schedule 18.02.2014


Ответы (1)


Мы используем ElasticSearch, который хорошо интегрируется с ruby ​​on rails. http://www.elasticsearch.org/blog/unleash-the-clients-ruby-python-php-perl/#ruby

person Shyam Habarakada    schedule 18.02.2014