Странные результаты с Solr 1.4 и EdgeNGrams — некоторые подстроки совпадают, некоторые нет

РЕДАКТИРОВАНИЕ 3. Обходной путь, который я сейчас использую, заключается в удалении всего, кроме букв, цифр и пробелов, как в моих запросах, так и в моих проиндексированных полях. Это приводит к желаемому поведению, но это скорее обходной путь, чем истинное решение, и я все же хотел бы понять, почему Solr делает то, что делает... поэтому все еще заинтересован в ответе, если он у кого-то есть. ЗАВЕРШИТЬ ИЗМЕНЕНИЕ 3

У меня есть документ с именем «TT-14B», проиндексированный Solr 1.4 (через Django/Haystack). Когда я запрашиваю поле content_auto для «tt-1», или «tt 14», или «tt 14b», я получаю документ обратно; когда я запрашиваю "tt-14" или "tt-14b", я не получаю результатов. Я немного отредактировал схему Solr, сгенерированную Haystack, чтобы попытаться исправить это, но безрезультатно. Используя Analyze.jsp, мне кажется, что я должен получить совпадение для «tt-14»; Обязательно возьму для "тт-14б". (Правка: да, изменение оператора по умолчанию с AND на OR не помогает.)

Может кто-нибудь помочь мне понять, почему это не работает? Спасибо.

...

Результаты

QUERY  | WORKS
=======|======
tt     | yes
tt-    | yes
tt-1   | yes
tt-14  | no
tt-14b | no
tt 14  | yes
tt 14b | yes

ИЗМЕНИТЬ 2

Получил еще несколько сравнительно странных результатов, может помочь отладить проблему. В этом случае тестовый документ был "abc'def".

QUERY   | WORKS
========|======
abc     | yes
abc'd   | yes
abc'de  | no
abc'def | no

Та же картина, очевидно, но я не понимаю, что вызывает это.

ЗАВЕРШИТЬ ИЗМЕНЕНИЕ 2

Соответствующая часть schema.xml (полный файл ниже)

<fieldType name="edge_ngram" class="solr.TextField" positionIncrementGap="1">
  <analyzer type="index">
    <tokenizer class="solr.WhitespaceTokenizerFactory" />
    <filter class="solr.LowerCaseFilterFactory" />
    <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" splitOnNumerics="0" preserveOriginal="1" catenateWords="0" catenateNumbers="0" catenateAll="0" splitOnCaseChange="1"/>
    <filter class="solr.EdgeNGramFilterFactory" minGramSize="1" maxGramSize="15" side="front" />
  </analyzer>
  <analyzer type="query">
    <tokenizer class="solr.WhitespaceTokenizerFactory" />
    <filter class="solr.LowerCaseFilterFactory" />
    <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" splitOnNumerics="0" preserveOriginal="1" catenateWords="0" catenateNumbers="0" catenateAll="0" splitOnCaseChange="1"/>
  </analyzer>
</fieldType>

schema.xml (полный)

<?xml version="1.0" ?>
<!--
 Licensed to the Apache Software Foundation (ASF) under one or more
 contributor license agreements.  See the NOTICE file distributed with
 this work for additional information regarding copyright ownership.
 The ASF licenses this file to You under the Apache License, Version 2.0
 (the "License"); you may not use this file except in compliance with
 the License.  You may obtain a copy of the License at

     http://www.apache.org/licenses/LICENSE-2.0

 Unless required by applicable law or agreed to in writing, software
 distributed under the License is distributed on an "AS IS" BASIS,
 WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
 See the License for the specific language governing permissions and
 limitations under the License.
-->

<schema name="default" version="1.1">
  <types>
    <fieldtype name="string"  class="solr.StrField" sortMissingLast="true" omitNorms="true"/>
    <fieldType name="boolean" class="solr.BoolField" sortMissingLast="true" omitNorms="true"/>

    <!-- Numeric field types that manipulate the value into
         a string value that isn't human-readable in its internal form,
         but with a lexicographic ordering the same as the numeric ordering,
         so that range queries work correctly. -->
    <fieldType name="sint" class="solr.SortableIntField" sortMissingLast="true" omitNorms="true"/>
    <fieldType name="slong" class="solr.SortableLongField" sortMissingLast="true" omitNorms="true"/>
    <fieldType name="sfloat" class="solr.SortableFloatField" sortMissingLast="true" omitNorms="true"/>
    <fieldType name="sdouble" class="solr.SortableDoubleField" sortMissingLast="true" omitNorms="true"/>

    <fieldType name="date" class="solr.DateField" sortMissingLast="true" omitNorms="true"/>

    <fieldType name="text" class="solr.TextField" positionIncrementGap="100">
      <analyzer type="index">
        <tokenizer class="solr.WhitespaceTokenizerFactory"/>
        <!-- in this example, we will only use synonyms at query time
        <filter class="solr.SynonymFilterFactory" synonyms="index_synonyms.txt" ignoreCase="true" expand="false"/>
        -->
        <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt"/>
        <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" splitOnNumerics="0" preserveOriginal="1" catenateWords="1" catenateNumbers="1" catenateAll="1"/>
        <filter class="solr.LowerCaseFilterFactory"/>
        <filter class="solr.EnglishPorterFilterFactory" protected="protwords.txt"/>
        <filter class="solr.RemoveDuplicatesTokenFilterFactory"/>
      </analyzer>
      <analyzer type="query">
        <tokenizer class="solr.WhitespaceTokenizerFactory"/>
        <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
        <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt"/>
        <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" splitOnNumerics="0" preserveOriginal="1" catenateWords="0" catenateNumbers="0" catenateAll="1"/>
        <filter class="solr.LowerCaseFilterFactory"/>
        <filter class="solr.EnglishPorterFilterFactory" protected="protwords.txt"/>
        <filter class="solr.RemoveDuplicatesTokenFilterFactory"/>
      </analyzer>
    </fieldType>

    <fieldType name="text_ws" class="solr.TextField" positionIncrementGap="100">
      <analyzer>
        <tokenizer class="solr.WhitespaceTokenizerFactory"/>
      </analyzer>
    </fieldType>

    <fieldType name="ngram" class="solr.TextField" >
      <analyzer type="index">
        <tokenizer class="solr.KeywordTokenizerFactory"/>
        <filter class="solr.LowerCaseFilterFactory"/>
        <filter class="solr.NGramFilterFactory" minGramSize="2" maxGramSize="15" />
      </analyzer>
      <analyzer type="query">
        <tokenizer class="solr.KeywordTokenizerFactory"/>
        <filter class="solr.LowerCaseFilterFactory"/>
      </analyzer>
    </fieldType>

    <fieldType name="edge_ngram" class="solr.TextField" positionIncrementGap="1">
      <analyzer type="index">
        <tokenizer class="solr.WhitespaceTokenizerFactory" />
        <filter class="solr.LowerCaseFilterFactory" />
        <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" splitOnNumerics="0" preserveOriginal="1" catenateWords="0" catenateNumbers="0" catenateAll="0" splitOnCaseChange="1"/>
        <filter class="solr.EdgeNGramFilterFactory" minGramSize="1" maxGramSize="15" side="front" />
      </analyzer>
      <analyzer type="query">
        <tokenizer class="solr.WhitespaceTokenizerFactory" />
        <filter class="solr.LowerCaseFilterFactory" />
        <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" splitOnNumerics="0" preserveOriginal="1" catenateWords="0" catenateNumbers="0" catenateAll="0" splitOnCaseChange="1"/>
      </analyzer>
    </fieldType>
  </types>

  <fields>   
    <!-- general -->
    <field name="id" type="string" indexed="true" stored="true" multiValued="false" required="true"/>
    <field name="django_ct" type="string" indexed="true" stored="true" multiValued="false" />
    <field name="django_id" type="string" indexed="true" stored="true" multiValued="false" />

    <dynamicField name="*_i"  type="sint"    indexed="true"  stored="true"/>
    <dynamicField name="*_s"  type="string"  indexed="true"  stored="true"/>
    <dynamicField name="*_l"  type="slong"   indexed="true"  stored="true"/>
    <dynamicField name="*_t"  type="text"    indexed="true"  stored="true"/>
    <dynamicField name="*_b"  type="boolean" indexed="true"  stored="true"/>
    <dynamicField name="*_f"  type="sfloat"  indexed="true"  stored="true"/>
    <dynamicField name="*_d"  type="sdouble" indexed="true"  stored="true"/>
    <dynamicField name="*_dt" type="date"    indexed="true"  stored="true"/>


    <field name="modelname_exact" type="string" indexed="true" stored="true" multiValued="false" />

    <field name="modelname" type="text" indexed="true" stored="true" multiValued="false" />

    <field name="name" type="text" indexed="true" stored="true" multiValued="false" />

    <field name="text" type="text" indexed="true" stored="true" multiValued="false" />

    <field name="name_exact" type="string" indexed="true" stored="true" multiValued="false" />

    <field name="content_auto" type="edge_ngram" indexed="true" stored="true" multiValued="true" />

  </fields>

  <!-- field to use to determine and enforce document uniqueness. -->
  <uniqueKey>id</uniqueKey>

  <!-- field for the QueryParser to use when an explicit fieldname is absent -->
  <defaultSearchField>text</defaultSearchField>

  <!-- SolrQueryParser configuration: defaultOperator="AND|OR" -->
  <solrQueryParser defaultOperator="AND" />
</schema>

rfrankel 04.08.2011 источник

Ответы (2)

arrow_upward
1
arrow_downward

Скриншот /admin/analysis.jsp для каждого случая был бы интересен.

Есть ли причина, по которой positionIncrementGap="1" установлен в 1?

tt-14b и tt 14b обрабатываются по-разному из-за токенизатора пробелов. Это означает: tt-14b — это один термин, пока WordDelimiterFilterFactory не выстрелит, а tt 14b — это 2 термина с самого начала. positionIncrementGap дает вам возможность видеть разные термины как одну фразу, даже если они не соседние, а на следующей "n" позиции. Так что попробуйте поднять positionIncrementGap.

Кстати: первое, что я заметил в вашем schema.xml, — это отсутствие «EdgeNGramFilterFactory» во время запроса. Что должно быть в порядке. Но есть также понятные причины, по которым «одинаковые фильтры во время запроса и во время индексирования» считаются лучшими практиками. Это зависит от каждой конкретной ситуации, но было бы неплохо активировать этот фильтр во время запроса.

The Bndr 10.08.2011

comment

Разве увеличение positionIncrementGap не снижает вероятность совпадения? Во всяком случае, я пробовал использовать его как при 0, так и при 20, и ни одно из значений не решило проблему. Что касается отправки запросов через ENGFF - я думаю, что специально этого не хочу. Если его включить, запрос типа TT-15C будет соответствовать документу TT-14B, верно? - rfrankel; 11.08.2011

comment

positionIncrementGap позволил вам определить, какой разрыв между частями слова (токенами). Пример Wi-Fi, где Wi идет от 0-1, а Fi от 2-3. Это в основном используется для синонимов. С разрывом 20 Wi идет от 0-1, а Fi идет от 22-23. Так там 20 positionBlocks (не знаю, как это назвать) бесплатно. Они относятся к Wi Term, где, например, могут быть размещены синонимы, такие как Wi (0-1) Wireless (2-9) Fi (22-23). Я подумал, может быть, ENGGG генерирует так много терминов из одного слова, что больший пробел работает, может быть, как промежуток. - The Bndr; 12.08.2011

comment

@rfrankel смотрит на ваш analysis.jsp: все выглядит нормально. Мы видим поля с синим фоном и видим, что tt-14b соответствует. Но при выполнении этого запроса совпадений, как вы сказали, нет. Кстати: в analysis.jsp показано, как должен обрабатываться запрос в зависимости от загруженного параметра (из schema.xml). Он не выполняет реальный запрос. Это означает: если вы изменили свой schema.xml без перестроения индекса, результаты поиска и analysis.jsp могут отличаться. - The Bndr; 12.08.2011

comment

@rfrankel вы изменили что-то в schema.xml без перестройки индекса? В чем причина использования ENGFF? (автоматическое предложение?) - The Bndr; 12.08.2011

comment

Нет, я перестроил индекс (и перезапустил и Solr, и Apache, чтобы убедиться). И да, самовнушение. - rfrankel; 12.08.2011

arrow_upward
1
arrow_downward

Немного запоздал с показом этого, но, как отмечалось выше, WhitespaceTokenizerFactory разбивает слова дефисами, если они проходят через StandardAnalyzer. Я тоже узнал это трудным путем...:

Solr NGramTokenizerFactory и PatternReplaceCharFilterFactory — результаты анализатора несовместимы с результатами запроса

Решение, вероятно, состоит в том, чтобы использовать KeywordAnalyzer — он не должен ничего разделять.

Я придумал аналогичный обходной путь для вашего «EDIT 3» по ссылке выше (на PHP).

Что особенно разочаровывает в анализаторе Solr, так это то, что он показывает, что все в порядке и ведет себя так, как ожидалось, что меня действительно смутило.

Удачи!

Josh 12.03.2012

Странные результаты с Solr 1.4 и EdgeNGrams — некоторые подстроки совпадают, некоторые нет

Ответы (2)

Похожие вопросы