Разбор текста выделяет из текста слова, даты и числа.
    Мало значащие стоп-слова удаляются из списка слов запроса.
    Морфологический анализ приводит слова запроса к их нормальным словарным формам.
    Если у какого-то слова запроса стоит оператор нечеткого поиска (~), или если Вы находитесь в режиме поиска по Шаблону, список слов запроса расширяется словами, удовлетворяющими шаблону.
    По группе слов, заключенной в кавычки (" ") проводится поиск точной фразы.
    Найденные идиомы (например, "Соединенные Штаты" или "железная дорога") оцениваются так, чтобы вхождение фразы ранжировалось выше чем вхождения отдельных ее слов.
    Цифровые комплексы, найденные в документе нормализуются таким образом, чтобы можно было производить поиск по числам или датам.
    Если у какого-то слова запроса стоит оператор расширения по Подстановкам (*,?, [выражение поиска]), список слов запроса расширяется словами, соответствующими подстановкам.
    В закладке 'Эксперт' Вы можете выбрать отдельные значения слов, которые будут расширены и/или определить веса отдельных слов.
    Благодаря семантическому расширению слова, связанные со словами запроса, добавляются к списку искомых слов.
    Документы ранжируются по степени соответствия запросу и отображаются в списке.

    10.3.3. Точность и полнота поиска.
    Cистема RetrievalWare позволяет Вам управлять теми частями конвейера, которые влияют на точность и полноту поиска. Полнота поиска - это мера того, как хорошо система может находить все подходящие документы в базе данных. Точность - это способность системы возвращать только подходящие документы.
    В большинстве полно-текстовых поисковых систем есть связь между полнотой и точностью поиска, такая, что при увеличении одного параметра уменьшается другой и наоборот. Например, Вы имеете базу данных, содержащую 10000 документов, из них 1000 удовлетворяют запросу. Если система возвращает 200 из 1000 подходящих документов, то Вы имеете полноту поиска 20%, а точность поиска 100%. Если система возвращает 5000 документов (включая и 1000 действительно подходящих документов), то в этом случае полнота поиска - 100%, но точность - только 20% (потому что в результате запроса было возвращено 4000 неподходящих документов).
    RetrievalWare обеспечивает и высокую точность и достаточную полноту поиска. В RetrievalWare полнота поиска зависит от уровня расширения слов. Уровень расширения слова означает как "глубоко" в семантической сети надо искать слова, связанные со словами запроса. Ниже приведен пример уровней расширения для слова "ЛЕГКИЙ":
    1. Точное слово и морфологические варианты (ЛЕГКИЙ, ЛЕГКИЕ)
    2. + неправильные склоняемые формы и различные написания (ЛЁГКИЙ)
    3. + другие варианты (ЛЕГКОСТЬ)
    4. + строгие синонимы (ЭЛЕМЕНТАРНЫЙ)
    5. + синонимы (НЕВЕСОМЫЙ, ПУСТЯКОВЫЙ)
    6. + строгие антонимы (ТЯЖЕЛЫЙ, ТРУДНЫЙ)
    7. + антонимы (НЕЭЛЕМЕНТАРНЫЙ, НЕТРИВИАЛЬНЫЙ)
    8. + связанные слова (ВЕСЫ, СЛОЖНОСТЬ)
    9. + контрастные слова (НЕЛЕГКИЙ)
    Чем выше Вы устанавливаете уровень расширения слова, тем больше становится полнота поиска и тем меньше его точность. Точность поиска в RetrievalWare можно увеличить, выбирая отдельные значения слова или придавая одним словам запроса более высокую значимость, чем другим. На алгоритмы ранжирования влияют такие факторы, как полнота, контекстный признак, расположение и плотность совпадений, что также способствует увеличению точности.
    Выставляя для Ваших запросов уровни расширения слов, и выбирая значения слов и их значимость, Вы можете достигнуть как высокой точности, так и достаточной полноты поиска.

    10.3.4. Понятие ранжирования.
    Чтобы иметь большее представление о том, как работает механизм поиска и как на него воздействуют изменения различных параметров, нужно понять, как происходит ранжирование.
    Во время поиска одними из последних действий, выполняемых RetrievalWare являются "грубое" и " точное" ранжирование. Это процессы, при которых документы просматриваются и ранжируются (они выполняются только в режиме поиска по Смыслу и по Шаблону, но не в режиме Логического поиска).
    При грубом ранжировании RetrievalWare просто просматривает документы на наличие в них слов запроса или связанных с ними слов. Вы можете установить максимальное количество возвращаемых документов, наиболее удовлетворяющих запросу; затем над этими документами программа выполнит точное ранжирование.
    При точном ранжировании RetrievalWare анализирует возвращенные документы, чтобы определить их точный ранг. Значение ранга документа может использоваться для сортировки списка возвращенных документов, если Вы хотите просматривать документы в порядке соответствия запросу (при желании Вы можете сортировать документы по полям; например, по дате или по названию).
    Далее идет более подробное описание работы процеcсов. Оно поможет Вам понять почему некоторые документы ранжируются выше чем другие.
    Вычисление грубого ранжирования.
    При вычислении грубого ранжирования учитывается ряд факторов. Каждый фактор добавляет документу некоторую относительную значимость. Сложенные вместе, они составляют значимость всего документа в целом.
    ПОЛНОТА: Чем больше в документе найдено искомых слов (точных совпадений со словами запроса или относящихся к ним слов), тем выше его значимость.
    Подходящий документ должен содержать по крайней мере одно точное совпадение со словом запроса или связанное с ним слово для каждого термина запроса. Если документ содержит только часть слов запроса, то максимальный ранг этого документа равен этой части. Например, если документ содержит только 3 из 4 слов запроса, то его максимальный ранг - 75 %. Слова, связанные со словами запроса имеют меньшую значимость чем найденнве точные совпадения. Если Вы словам запроса присваиваете разную значимость, то эти значимости учитываются при вычислении окончательного значения.
    КОНТЕКСТНЫЙ ПРИЗНАК: Чем больше в документе связанных слов, тем выше его значимость.
    Если документ содержит данное слово и связанные с ним по смыслу слова, то этому слову присваивается более высокая значимость. Например, слово "коса" стоящее рядом со словами "плуг", "борона" и "косить", вероятнее, будет означать "сельскохозяйственное орудие", чем "волосы, сплетенные в виде жгута" или "идущая от берега полоса земли". Такой анализ наиболее полезен, когда Вы определяете (в закладке 'Эксперт') значение слов запроса.
    СЕМАНТИЧЕСКОЕ РАССТОЯНИЕ: Чем ближе по смыслу связанные слова, тем выше значимость документа.
    Семантическая сеть содержит информацию о том, насколько близко два слова связаны друг с другом (например, слова которые являются синонимами более близко связаны друг с другом, чем слова которые определены как антонимы). Эта информация используется при вычислении контекстного признака. Чем ближе в семантической сети связанные слова и точные термины запроса, тем большую значимость имеет документ. Таким образом, при ранжировании учитывается семантическое расстояние.
    Не путайте семантическое расстояние с расстоянием в документе, которое отделяет положение слов (совпадающих со словами запроса) в документе. Расстояние в документе используется при вычислении точного ранжирования.
    Вычисление точного ранжирования.
    При вычислении точного ранжирования рассматривается расположение слов запроса и связанных с ними слов в документе, их общее количество, а также учитываются следующие факторы:
    РАССТОЯНИЕ: Чем ближе слова запроса и относящиеся слова друг к другу, тем большая значимость документа.
    Документ оценивается как более подходящий, если он содержит связанные по смыслу слова, расположенные близко друг к другу. Предпочтительно если они находятся в том же самом предложении или параграфе. Система вычисляет расстояние меду словами в документе, которое является самым большим для соседних слов и уменьшается, по мере их отдаления друг от друга. Таким образом, документы со множеством совпадений, расположенных близко друг от друга ранжируются выше чем документы, в которых присутствует то же самое количество совпадений, но они разбросаны по всему документу.
    ПЛОТНОСТЬ СОВПАДЕНИЙ: Чем больше отношение количества слов запроса и связанных с ними слов к общему числу слов в документе, тем больше его значимость.
    Документ оценивается как более подходящий, если в нем большая часть слов - это слова запроса или связанные с ними слова. Таким образом, короткие документы со многими совпадениями ранжируются выше чем более длинные документы, в которых присутствует то же количество совпадений.
    ПОЛНОТА, КОНТЕКСТНЫЙ ПРИЗНАК, СЕМАНТИЧЕСКОЕ РАССТОЯНИЕ: Для любого набора слов в документе, RetrievalWare вычисляет такие факторы, как полнота, контекстный признак и семантическое расстояние, так же, как и при грубом ранжировании.

    10.3.5. Сравнение типов запросов.
    Все запросы выполняются в одном из трех основных режимов поиска(по Смыслу, по Шаблону или Логическом). Существуют и другие типы запросов, которые могут использоваться или вместе с основным запросом, или после него. Далее описываются способы сужения и расширения области поиска, возможность использования и общее время поиска для каждого типа запроса, а так же условия, при которых Вы могли бы использовать тот или иной запрос наиболее эффективно.
    Размер ответа всегда зависит от такого параметра, как число возвращаемых документов, следовательно, этот параметр не относиться непосредственно к способу сужения или расширения области поиска, но он ограничивает число возвращаемых любым типом запроса документов.
    Если какие-то из нижеописанных слов Вам неизвестны, то смотрите Глоссарий. Для более подробного описания любого из следующих режимов поиска, смотрите соответствующие разделы Глав 10.4 и 10.5.

    10.3.6. Режим поиска по смыслу.
    Основной режим поиска, позволяет вводить запросы без операторов, на естественном языке; автоматически делает семантическое расширение всем словам запроса до установленного Вами уровня; ранжирует возвращенные документы по степени соответствия запросу.
    Область поиска сужается при:
- установке более низкого уровня расширения слов
- установке более высокого порога ранжирования возвращаемых документов (при рубрикации)
- выборе отдельных значений слов в закладке 'Эксперт'
- включении в запрос точной фразы, заключенной в двойные кавычки
- использовании полей как фильтров.
    Область поиска расширяется при:
- установке более высокого уровня расширения слов
- установке более низкого порога ранжирования возвращаемых документов (при рубрикации)
- использовании специальных операторов, для расширения отдельных слов запроса по шаблону или по подстановкам (*,?, [искомое выражение]).
    Запрос вводится на естественном языке.
    Процесс поиска в данном режиме обычно медленнее, чем в режиме Логического поиска (даже при выполнении ранжирования или семантического расширения) однако полнота поиска и его точность выше, что делает оценку результата быстрее и легче.     - Вы изучите систему (это один из самых простых режимов поиска)
    - Вам нужно выполнить " быстрый и нечёткий " поиск
    - Вы знаете, что слова, которые Вам нужны, существуют в базе данных (если семантическое расширение установлено в единицу, режим поиска по Смыслу почти всегда превосходит по быстродействию Логический режим поиска).

    10.3.7. Режим поиска по шаблону.
    Основной режим поиска, который также обрабатывает запросы на естественном языке, но допускает различия в написании слов в теле текста или в запросе. Автоматически расширяет по шаблону все слова запроса до установленного Вами уровня, ранжирует возвращенные документы по степени соответствия запросу.
    Область поиска сужается при:
- установке более низкого числа слов для расширения по шаблону
- установке более высокого порога ранжирования возвращенных документов (при рубрикации)
- выборе отдельных расширений слова в закладке 'Эксперт'
- включении точной фразы в двойных кавычках
- использовании полей в качестве фильтров.
    Область поиска расширяется при:
- установке более высокого числа слов для расширения по шаблону
- установке более низкого порога ранжирования возвращенных документов (при рубрикации)
- использовании специальных операторов для обозначения семантического расширения отдельных слов запроса (!).
    Запрос вводится на естественном языке.
    Процесс поиска в данном режиме обычно медленнее, чем Логический поиск, даже при выполнении ранжирования и расширения по шаблону, однако полнота поиска и его точность увеличиваются, делая оценку результата быстрее и легче.
    Наиболее эффективен, когда:
    - Вы имеете ошибки распознавания отсканированного текста
    - Вы ищете слово, которое является существительным с различными вариантами написания
    - Вы ищете отдельный термин или фразу, но не уверены относительно правильности ее написания.

    10.3.8. Логический режим поиска.
    Основной режим поиска, который использует традиционные логические операторы и ищет точные соответствия для всех слов запроса введенных Вами; ни ранжирование результатов ни автоматическое расширение не производится.
    Область поиска сужается при:
    - использовании полей
    - использовании точной фразы (заключенной в двойные кавычки)
    - использовании некоторых логических операторов (AND, NOT, WITHIN, ADJ, и вложенных инструкций).
    Область поиска расширяется при:
- использовании оператора OR
- использовании специальных операторов для обозначения семантического расширения(!), расширения по шаблону (~) или расширения по подстановкам (*,?, [искомое выражение]) к отдельным словам запроса.
    Ввод запроса более труден и отнимает больше времени, чем запросы написанные на естественном языке, так как логические операторы требуют правильного синтаксиса.
    Процесс поиска почти мгновенный, так как не выполняется ни ранжирование ни автоматическое расширение, однако может потребоваться более длительный просмотр возвращенных документов, так как наиболее подходящие документы могут находиться где-нибудь в середине списка найденных документов.
    Наиболее эффективен, когда:
    - Вы ищете конкретное слово
    - Вы ищете слова (например, названия) или документы, которые Вы видели раньше.

    10.3.9. Экспертный режим поиска.
    Режим запроса, который может использоваться вместе с любым основным типом запроса для увеличения его точности; для семантически расширяемых слов, Вы выбираете значения, которые будут расширены и/или значимость слов; для расширений по шаблону и по подстановкам, Вы можете выбирать слова из библиотеки, чтобы использовать их для поиска.
    Область поиска сужается при:
- выборе меньшего количества значений слова (расширение по смыслу)
- установке более низкого уровня семантического расширения (расширение по смыслу)
- выборе меньшего количества слов расширенных по шаблону
- выборе меньшего количества слов расширенных по подстановкам
- включении точной фразы (в двойных кавычках)
- использовании полей в качестве фильтров.
    Область поиска расширяется при:
- выборе большего количества значений слова (расширение по смыслу)
- установке более высокого уровня семантического расширения (расширение по смыслу)
- выборе большего количества слов расширенных по шаблону
- выборе большего количества слов расширенных по подстановкам.
    Ввод запроса занимает немного больше времени, так как он включает в себя дополнительный шаг, при котором выбираются значения и/или расширения слов и их значимость.
    Процесс поиска быстрее, чем не экспертный поиск, потому что Вы убираете некоторые из расширений.
    Наиболее эффективен, когда:
- Вы хотите, чтобы у Вас был самый высокий уровень точности и полноты поиска
- Вы используете режимы поиска по шаблону и по подстановкам, на объединенные слова
- слова, которые Вы ищете являются основными или имеют много значений.

    10.3.10. Поиск по полям.
    Этот тип запроса может выполняться отдельно или вместе с полно-текстовым поиском при любом режиме поиска; он ограничивает ответы, позволяя Вам ввести отдельные поля документа (например, полный или частичный заголовок, автор, и т.п.); Вы вводите в эти поля то, что должно быть, или что бы Вам хотелось увидеть в возвращенных документах (это зависит от того, как Ваш системный администратор сконфигурирует систему и проиндексирует текст).
    Область поиска сужается при вводе большого количества полей или очень точной информации, содержащейся в них.
    Область поиска расширяется при:
- использовании полей вместе с нормальным полно-текстовым поиском
- вводе меньшего количества полей или более общей информации поля (например, одно слово заголовка).
    Ввод запроса требует ввода полей (столько, сколько Вы хотите) в дополнение к, или вместо ввода полно-текстового запроса.
    Обычно поиск быстрый, потому что не просматривается часть базы данных, не соответствующая введенным Вами полям.
    Наиболее эффективен когда:
- Вы хотите получить документы, ограниченные некоторым диапазоном дат
- Вы знакомы с базой данных и знаете некоторые заголовки, авторов, числа публикаций, и т.п.
- информация поля документа столь же важна(или даже более важна) как и весь документ в целом.

    10.3.11. Итеративный поиск.
    Запрос любого типа, выполняемый после первичного запроса. Он проводит поиск только в документах, возвращенных после предыдущего поиска.
    Область поиска сужается при уменьшении уровня расширения слова, числа шаблонов или расширений по подстановкам.
    Область поиск расширяется при увеличении уровня расширения слова, числа шаблонов или расширений по подстановкам.
    Ввод запроса как и у первичного поиска, но Вы можете изменить тип запроса и/или его параметры между поисками.
    Процесс поиска обычно быстрее чем у первичного запроса, так как новая база данных меньше.
    Наиболее эффективен, когда:
- Вы хотите быстро уменьшить количество возвращенных после первичного запроса документов
- Вы хотите найти раздел внутри какой-то темы или вложенные темы (например, "IBM" а затем "персональные компьютеры").

    10.3.12. Режим поиска 'Запрос по Образцу'.
    Запрос, выполняемый после того, как в результате первичного запроса (в режиме поиска по Смыслу или по Шаблону) Вы нашли подходящий документ; в режиме поиска Запрос по Образцу компьютер просматривает всю библиотеку, используя список из 50 наиболее значимых слов, взятых из документа, используемого как образец; результаты поиска ранжируются.
    Ввод запроса заключается в выборе документа-образца и нажатия на кнопку ПОХОЖИЕ.
    Наиболее эффективен, когда:
- возвращенный документ содержит много подходящих слов для поиска
- после первого поиска Вы находите подходящий документ, который в списке проранжированных документов стоит не в начале списка.

    10.3.13. Поиск по подстановкам.
    Запрос, который использует подстановочные символы (*,?, [искомое выражение]) для части слов, имени или числа (вместо неизвестных символов в словах запроса или чтобы найти несколько похожих слов). Подстановки можно использовать в режиме поиска по Смыслу или в Логическом режиме (но не в режиме поиска по Шаблону), при текстовом поиске или поиске по полям, в нескольких словах, и даже несколько раз в одном слове.
    Область поиска сужается при:
- установке меньшего числа подстановочных слов для использования в расширении по подстановкам,
- использовании закладки 'Эксперт' для выбора отдельных расширений.
    Область поиска расширяется при установке большего числа используемых подстановок.
    Ввод запроса такой же простой, как и у основных режимов поиска.
    Время поиска в целом меньше, потому что на подстановках не выполняется никакое семантическое расширение. Однако, если подстановки используются в очень широком смысле (например, со*), или если Вы устанавливаете число подстановок очень большим, то время поиска может быть больше и результат поиска может быть слишком большим, чтобы быть полезным.
    Наиболее эффективен, когда:
- Вы ищете имя собственное, которое не знаете, как пишется,
- Вы ищете ряд слов, которые имеют несколько похожих символов (например, модели "C1050" , "C1051" и "C1052"),
- Вы не уверены, в какой форме встретится данное слово и соответственно не можете гарантировать что все его написания будут найдены.

    10.3.14. Поиск групп слов.
    Запрос (в режиме поиска по Смыслу или по Шаблону), при котором для повышения точности поиска, слова, связанные по смыслу, группируются вместе в круглых скобках. Слова внутри круглых скобок расширены, согласованы и ранжируются по степени соответствия запросу как группа, а не как отдельные слова.
    Параметры для сужения или расширения области поиска - такие как и для любого режима запроса, используемого Вами.
    Ввод запроса такой же легкий, как и у основных типов поиска.
    Время ответа будет такое же, как и у любого основного типа поиска.
    Наиболее эффективен, когда:
- Вы ищете несколько связанных слов, которых нет в словаре (например, (БНЕ "Борис Ельцин" Ельцин) выборы),
- Вы ищете несколько слов, которые не связаны с друг другом в словаре (например, (водный мотоцикл) выставки).

    10.3.15. "Смешанный" поиск.
    Когда Вы выбираете тип запроса (по Смыслу, по Шаблону или Логический), все слова запроса, которые Вы вводите, обычно расширяются следующим способом. Все слова запроса в режиме поиска по Смыслу расширяются до связанных с ними через семантическую сеть слов. Все слова в режиме поиска по Шаблону расширяются до похожих на них по написанию, а в Логическом режиме поиска слова не расширяются вообще. Вы можете комбинировать эти режимы поиска, применяя специальные операторы на отдельные слова запроса. Это заставляет слова с операторами обрабатываться не так, как все остальные слова запроса.
    Расширение по смыслу в режимах поиска по шаблону и логическом.
    Для расширения отдельных слов через семантическую сеть, когда Вы не в режиме поиска по Смыслу, после слова вводят семантический оператор (!). Это слово запроса будет расширено связанными с ним по смыслу значениями, до уровня расширения, который Вы установили в закладке 'Запрос'.
    Например, если Вы ввели психология ребенка! в Логическом режиме поиска, то слово "ребенка" могло бы расшириться до "юноши", "дитя", и т.п., а слово "психология" расширено не будет.
    Расширение по шаблону в логическом режиме поиска и Режиме поиска по смыслу.
    Для расширения отдельных слов по шаблону, когда Вы не в режиме поиска по Шаблону, перед нужным словом вводят оператор расширения по шаблону (~). Это слово будет расширяться до аналогично записанных в библиотеке слов, до тех пор, пока их количество не станет равно установленному в закладке 'Запрос' параметру - 'Число расширений по Шаблону'.
    Например, в режиме поиска по Смыслу, даже если Вы не уверены, как написать по буквам слово "психология", Вы можете ввести ~психилогия ребенка. Слово "ребенка" будет расширено по смыслу, а слово "психилогия" все равно будет находиться, даже при неправильном написании.
    Логические операторы в режимах поиска по смыслу и по шаблону (точный поиск фразы).
    Когда Вы не в Логическом режиме, чтобы не расширять отдельные слова запроса, нужное слово ставят в двойные кавычки (" "). Слова в двойных кавычках не расширяются, и несколько слов в кавычках должны быть найдены в том виде, в котором они были введены. Это может быть полезно, когда Вы ищете какой-то заголовок или фразу.
    Например, если Вы ввели фразу "психология ребенка" журнал в режиме поиска по Смыслу, фраза "детская психология" не будет соответствовать запросу, потому что слово "ребенка" не расширилось бы до "детской". Аналогично фраза "ребенок и психология" тоже бы не соответствовала запросу (даже при том, что стоп слово 'и' игнорируется) потому, что слова "ребенок" и "психология" стоят не в том порядке.
    Просто не расширять несколько слов без ограничения их порядка расположения - заключить каждое слово в отдельные кавычки (введите "министерство", "юстиции", дела чтобы найти, и "Министерство Юстиции" и "Министерства и Юстиции").
    Вы можете также использовать двойные кавычки для выделения фраз в Логическом режиме поиска чтобы ограничить порядок слов. Например, фраза "ребенок и психология" соответствовала бы запросу психология ребенка, и не соответствовала бы запросу "психология ребенка" ( из-за ограничения порядка слов).

    10.3.16. Общие принципы построения запроса.
    Из-за того, что не существует двух совершенно идентичных систем или баз данных, то нет и никаких четких правил для ввода запросов и корректировки их параметров. Пока Вы не узнаете лучше возможности RetrievalWare ,следующие общие советы могут быть Вам полезны.
    Если Ваш запрос простой, то используйте режим поиска По Смыслу с "узким" стилем поиска (расширение слов ставиться равным "варианты написания"). Приблизительно в 50% случаев простой поиск типа этого возвратит результаты, которые Вам нужны быстро и легко, особенно, если Вы знакомы с базой данных. Если Вы не знакомы с базой данных, установите расширение выше ("похожие понятия" или "близкие понятия"), чтобы удостовериться в том, что Вы не пропустите подходящие документы.
    Число возвращаемых документов: Установите равным 100 или выше для маленьких библиотек; установите равным 300-400 (или выше) для больших библиотек.
    Уровень расширения слова: Установите равным "похожие понятия" или более строгое значение, если Вы выбираете значения слова, используя закладку 'Эксперт'.
    Для увеличения полноты поиска:
- повысьте уровень расширения слова,
- понизьте уровень ранжирования возвращенных документов (для рубрикатора),
- повысьте число возвращаемых документов.
    Для увеличения точности:
- выберите значения слов и расширения по шаблону и по подстановкам,
- установите значимость слов,
- чаще используйте редкие слова и термины.
    Для увеличения скорости запроса в незнакомых библиотеках:
- понизьте уровень расширения слов,
- сократите запрос,
- выберите значения слов.
    Для увеличения скорости запроса в знакомых библиотеках:
- используйте поля,
- используйте точные фразы,
- установите меньшее число возвращаемых документов.