Поисковые системы

Что умеет Яndex.
Программные продукты серии Яndex (Языковый index) - набор средств полнотекстовой индексации и поиска в текстовых данных с учетом морфологии русского языка.
Яndex включает модули морфологического анализа и синтеза, индексации и поиска, а также набор вспомогательных модулей, таких, как анализатор документов, языки разметки, конверторы форматов, сетевой "паук".
Алгоритмы морфологического анализа и синтеза, основанные на базовом словаре, умеют нормализовать слова, то есть находить их начальную форму, а также строить гипотезы для слов, не содержащихся в базовом словаре. Система полнотекстового индексирования позволяет создавать компактный индекс и быстро осуществлять поиск с учетом логических операторов.
Яndex предназначен для работы с текстами как в локальной так и в глобальной сети (технологии Intranet и Internet) , а также может быть подключен как модуль к другим системам.
1. Индексация
Создаваемый индекс составляет около 1/3 объема текста (без картинок, tag'ов и пр.), при этом записывается подробный адрес слова - с точностью до позиции в тексте, что потом позволяет искать с учетом близости. В базу входят нормализованные формы слов текста, сами документы не хранятся.
Морфологический анализ слов текста происходит одновременно с индексацией, что дает возможность снятия омонимии.
Скорость индексации - не менее 2 Мб/минуту. Написан свой робот для обхода Web'а.
Организация изменения индекса (полное либо частичное обновление, слияние).
Идет индексирование по всем словам, стоп-слова определяются статистически.
2. Поиск
Язык запросов: скобки; логическое И (в пределах одного абзаца); логическое ИЛИ; оператор И НЕ (в пределах одного абзаца); близость - расстояние в словах.
Список выданных документов упорядочивается по релевантности - по количеству найденных слов. В каждом документе выделяются (подсвечиваются) найденные слова.
3. Работа с языком
Для интеллектуализации поиска используется словарь на 90 тыс. слов. При индексации происходит нормализация, то есть слово ставится в свою исходную форму (для существительных - именительный падеж единственного числа, для глаголов - неопределенная форма и т.д.) и в таком виде учитывается в базе. Алгоритм морфологического разбора умеет корректно обрабатывать и слова, не найденные в словаре. Морфология работает для русского и английского языка. Также индексируются числа.

Результаты поиска.
На странице результатов поиска Яндекса есть тексты, поясняющие результаты поиска, и ссылки, дающие возможность сортировать найденное или уточнять запрос. Ниже приведен общий вид страницы результатов.

Поисковая форма
Искать в найденном
Если в результате запроса Яндекс нашел много документов, но по более широкой теме, чем вам хочется, вы можете сократить этот список, уточнив запрос. Еще один вариант — включить флажок в найденном в форме поиска, задать дополнительные ключевые слова, и следующий поиск будет вестись только по тем документам, которые были отобраны в предыдущем поиске. Например, чтобы найти страницы про кондиционеры — средства, предназначенные для ухода за волосами (а не климатическую технику), можно задать запрос кондиционеры, для определения области поиска. А затем, поставив галочку в найденном, — слово «волосы».
Область поиска
Под формой поиска могут появляться несколько дополнительных блоков.
Адрес сайта.
Яндекс позволяет искать информацию только по интересующему вас сайту, задав соответствующие параметры в расширенном поиске, с помощью Яндекс.Бара или нажав на ссылку «Еще с сайта» . Тогда рядом с поисковой формой появляется напоминание, что результаты получены поиском по одному сайту. Если вы хотите продолжить поиск по всем сайтам, достаточно перед очередным запросом снять флажок ....

Выбор региона.
Поиск можно ограничить сайтами в нужном вам регионе или относящимися к интересной вам теме. Для поиска по всем сайтам снимите флажок в регионе.

Выбор диапазона дат.
Задав временной интервал, к которому должны относиться искомые документы, вы можете затем его исправить в результатах поиска, введя новые числа в формате «День-Месяц-Год».

Ссылки над поисковой формой
Над формой поиска видны две ссылки. Ссылка «Помощь» ведет на описание возможностей поиска. По ссылке «Настройка поиска», вы сможете изменить вид страницы с результатами поиска по своему вкусу, включить семейный поиск и отключить показ графической рекламы. Ссылка справа от формы поиска ведет на расширенный поиск, позволяющий даже неопытному пользователю задавать сложные поисковые запросы.
Параллельные поиски
Яндекс умеет искать не только сайты, но и новости, товары, картинки и т.д. Когда вы задаете запрос, поиск ведется одновременно по всем «параллельным» базам, и если что-либо найдено, Яндекс покажет информацию среди результатов поиска. В правой колонке — товары и картинки, внизу или вверху страницы — новости, словари, карты, афиша, погода. И все это — одним запросом!
Пролог результатов поиска
Вверху списка найденных документов выдается статистика слов запроса и найденных документов.
Статистика запросов
Статистика запросов показывает, сколько раз в течение предыдущего месяца в запросах пользователей содержалось то или иное слово.
Пример:
Запросов за месяц: красота — 114 851, спасет — 5 990, мир — 457 079.
Статистика найденных страниц
Статистика результатов поиска позволяет узнать количество найденных по запросу страниц и число сайтов, на которых они располагаются. Эти показатели примерные и могут меняться.
Пример:
Результат поиска: страниц — 140, сайтов — не менее 96
Статистика слов
Статистика слов в базе Яндекса показывается, только если вы указали это в настройках. Она говорит о том, сколько раз встретилось каждое из слов запроса на всех страницах, известных Яндексу. Этот показатель примерный и может меняться.
Пример:
Статистика слов: шерше — 277 256, ля — 7 154 215, фам — 683 279
Область поиска
Если в поиске по запросу участвовали не все проиндексированные страницы, в области поиска показываются эти ограничения. В их число входят ограничение по региону, сайту, языку, формату документа, страницы, похожие на заданную, включенный семейный фильтр.

Рубрики Каталога и Маркета
Когда запросу соответствуют рубрики каталога или Яндекс.Маркета, перед результатами поиска выводятся ссылки на соответствующие рубрики. Такое совпадение характерно для запросов, охватывающих широкую тему (таких как кондиционеры, открытки), и каталог сайтов или товаров — хорошее место, чтобы найти сайт с информацией или сделать покупку.
Ответы «параллельных» поисков
Многие службы Яндекса «понимают», когда они могут дать хороший ответ на запрос, и показывают соответствующую информацию в прологе результатов поиска.
Яндекс.Карты:
Яндекс.Афиша:
Яндекс.Погода:
Яндекс.Словари:
«Колдунщик»
Когда поиск принес мало документов, Яндекс анализирует запрос и предлагает способ, которым можно улучшить результаты. Мы называем этот модуль «колдунщиком».
Опечатки в запросе?
Если Яндекс подозревает, что в запросе есть опечатка, он может предложить возможный вариант написания слов.
Пример:
На запрос муму подарилиошейник будет предложено: опечатка? возможно, имелось в виду: мужу подарили ошейник
Ничего не найдено?
Как правило, небольшое число документов выдает поиск цитаты, который очень требователен к тексту страницы, поэтому, задав запрос "люблю грозу в конце апреля", вы увидите сообщение:
• ничего не найдено? попробуйте поискать без кавычек.
Ссылка на фразе без кавычек ведет на результаты поиска по тому же запросу, но уже без кавычек: люблю грозу в конце апреля.
Когда запрос отдается на усмотрение Яндекса, он ищет слова запроса на таком расстоянии друг от друга, чтобы максимально повысить качество результатов поиска. Иногда это приводит к малому количеству найденных страниц. Ссылка «с более мягкими условиями» ведет на результаты запроса, по которому отобраны страницы с заданными вами словами, независимо от того, насколько близко они к друг другу расположены.
• ничего не найдено? чтобы искать точнее, Яндекс ограничивается документами, в которых слова из запроса близки друг к другу — поищите с более мягкими условиями
В форме расширенного поиска вы можете задать, насколько близко друг к другу должны быть слова запроса в искомом документе. Если с такими параметрами будет найдено мало страниц, Яндекс предложит соответствующий вариант изменения запроса:
• ничего не найдено? Вы выбрали режим искать слова запроса подряд. Поищите с более мягкими условиями
• ничего не найдено? Вы выбрали режим искать слова запроса в одном предложении. Поищите с более мягкими условиями
• ничего не найдено? Вы выбрали режим искать слова запроса не очень далеко. Поищите с более мягкими условиями.

Найденный документ
Заголовок документа
Заголовок документа отражает название документа, данное ему автором страницы. При нажатии на него от

1 2 3 4 5

скачать работу

Отправка СМС бесплатно