Как настроить Solr для повышения скорости индексации

Похоже, вы выполняете массовый импорт данных в Solr, поэтому вам не нужно сразу искать какие-либо данные.

Во-первых, вы можете увеличить количество документов на запрос. Поскольку ваши документы небольшие, я бы даже увеличил их до 100 000 документов на запрос или больше и попробовал.

Во-вторых, вы хотите уменьшить количество коммитов при массовом индексировании. В вашем solrconfig.xml найдите:

<!-- AutoCommit

     Perform a hard commit automatically under certain conditions.
     Instead of enabling autoCommit, consider using "commitWithin"
     when adding documents.

     http://wiki.apache.org/solr/UpdateXmlMessages

     maxDocs - Maximum number of documents to add since the last
               commit before automatically triggering a new commit.

     maxTime - Maximum amount of time in ms that is allowed to pass
               since a document was added before automatically
               triggering a new commit.

     openSearcher - if false, the commit causes recent index changes
     to be flushed to stable storage, but does not cause a new
     searcher to be opened to make those changes visible.
  -->
 <autoCommit>
   <maxTime>15000</maxTime>
   <openSearcher>false</openSearcher>
 </autoCommit>

Вы можете полностью отключить автофиксацию, а затем вызвать фиксацию после публикации всех ваших документов. В противном случае вы можете настроить числа следующим образом:

По умолчанию maxTime составляет 15 секунд, поэтому автоматическая фиксация происходит каждые 15 секунд, если есть незафиксированные документы, поэтому вы можете установить это значение на что-то большее, скажем, 3 часа (т.е. 3 * 60 * 60 * 1000). Вы также можете добавить <maxDocs>50000000</maxDocs>, что означает, что автоматическая фиксация происходит только после добавления 50 миллионов документов. После того, как вы опубликуете все свои документы, вызовите коммит один раз вручную или из SolrJ — коммит займет некоторое время, но в целом это будет намного быстрее.

Кроме того, после того, как вы закончите массовый импорт, уменьшите maxTime и maxDocs, чтобы любые добавочные сообщения, которые вы будете делать в Solr, были зафиксированы намного раньше. Или используйте commitWithin, как указано в solrconfig.

В дополнение к тому, что было написано выше, при использовании SolrCloud вы можете рассмотреть возможность использования CloudSolrClient при использовании SolrJ. Клиентский класс CloudSolrClient поддерживает Zookeeper и может напрямую подключаться к осколку лидера, что в некоторых случаях ускоряет индексирование.