DTF
Александр Хнычков

Поиск

Рассказываем что изменилось в нашем поиске за последнее время и собираем фидбек для дальнейших исправлений и улучшений.

Последние несколько месяцев мы плавно и достаточно незаметно улучшаем наш поиск. Если вы пробовали пользоваться им ещё полгода-год назад, то наверное помните, что найти что-то было практически нереально, а в самом топе выдачи могли спокойно попадаться сильно заминусованные посты и не относящиеся к запросу комментарии.

По этой причине работы по поиску мы начали с самых базовых вещей, которые помогли постепенно довести его до состояния хоть не идеального, но хотя бы работающего инструмента. В этом посте хотелось бы рассказать что мы уже сделали, какие у нас дальнейшие планы ну и, конечно же, попросить у вас помощи с тестированием.

Что изменилось

Алгоритм поиска

В первую очередь, мы начали работать над самим алгоритмом. Теперь при сортировке результатов поиска во вкладке «по релевантности» мы учитываем рейтинг материала, дату его публикации, количество комментариев и ещё много других параметров. Если коротко, наверху в выдаче показываются свежие результаты с точными совпадениями и высоким рейтингом, ниже — более давние или с более низким рейтингом. Формулу рассчитывали сами и постепенно продолжаем её улучшать, подкручивая коэффициенты разных параметров.

Сортировка с учётом точности совпадения

В новом поиске на самый верх выдачи попадают самые точные совпадения с введенным поисковым запросом. После них уже идут совпадения, в которых может быть изменен род или склонение. На самом последнем месте оказываются неточные совпадения с опечатками или совпадения только по части запроса. Естественно, вся эта выдача дополнительно сортируется нашим алгоритмом.

Работа с опечатками и правки в поиске «по дате»

Поиск научился работать с опечатками. При наличии одной или нескольких ошибок в запросе он умеет показывать правильную выдачу (но не всегда). Для разной длины запроса применяются свои правила, например в длинных запросах допускается несколько ошибок, а в самых коротких запросах ошибки совсем не допускаются.

Однако, при сортировке «по дате» из-за работы с опечатками поисковый запрос мог очень сильно «размываться». Из-за этого по нужному запросу выдавались абсолютно не подходящие результаты, например при вводе «губка боб» показывались посты с совпадением по слову «гибкой», а на запрос «3080» показывались комментарии и посты про все остальные видеокарты (1080, 3070, 3060 и т.д.). Подправили работу с опечатками в этой сортировке, что помогло сильно улучшить выдачу «по дате».

Работа с запросами из нескольких слов и очень короткими запросами

Возникали проблемы с запросами, которые состоят из нескольких слов. Чтобы решить проблему подняли приоритет постов, где слова из выдачи находятся близко друг к другу и дополнительно добавили релевантности результатам с прямым совпадением

Была и обратная ситуация, например при вводе условного запроса «лего» топовые результаты приходились на выдачу по «лёг» или «Лема» и так работало для всех коротких запросов. Улучшили выдачу и для таких случаев.

Транслитерация

Добавили в поиск возможность транслитерировать русские буквы в английские и наоборот. Теперь куда проще искать пользователей, имена у которых могут быть написаны как на русском, так и на английском.

Смена раскладки при неправильном вводе

Теперь поиск умеет автоматически менять раскладку в запросе, если пользователь забыл её переключить. Например, при вводе «сниукзгтл» покажутся результаты по запросу «cyberpunk». Вместе с этим поправили смену раскладки для коротких запросов, когда поиск пытался заменить условный «vfx» на «мач».

Заглавные буквы в запросах

Были проблемы с поиском по запросам «nft», «npc» и похожими, например нельзя было найти подсайт по запросу «Улучшаем dtf». Убрали чувствительность к регистру для коротких запросов, теперь в таких случаях поиск отрабатывает корректно.

Дальнейшие планы

Все работы по поиску мы делали только внутри поискового движка и пока что совсем не занимались тем, как выглядит поиск у нас на сайте. Вот что есть в планах:

Поисковые фильтры

На данный момент нет возможности как-то настраивать поисковый запрос. Хотим добавить поиск по конкретным подсайтам и авторам, возможность искать только по редакционным материалам, настраивать диапазон рейтинга и дат публикации для поиска постов и комментариев, ну и другие полезные надстройки над нашим поиском.

Страница выдачи

Сейчас страница с результатами поиска по функциональности и дизайну совсем не соответствует новому алгоритму поиска. В первую очередь, планируем переработать сами острова с материалами, чтобы не было такого шума с выделенными совпадениями. Поработаем ещё и над сортировками и новыми вкладками для удобства поиска по разным категориям.

Работа над алгоритмом

Мы успели поработать только над базовыми вещами внутри поисковой системы, поэтому планируем и дальше продолжать постепенно улучшать и настраивать поиск под наши сайты. Например, в ближайших планах поработать с синонимами и словарями, чтобы приводить разные по написанию слова к одному поисковому запросу.

Собираем фидбек

С нами уже связался инициативный читатель, который провёл консультацию по поиску и помог собрать некоторые баги. Теперь мы дополнительно хотим попросить помощи у вас, чтобы собрать наиболее частые проблемы и продолжать дальше улучшать поиск.

Будет здорово, если вы попробуете поискать что-то в обновлённом поиске (лучше не присылать старые скриншоты, они могут быть не актуальны) и пришлете проблемы, с которыми столкнулись. Желательно делать это в таком виде:

  • поисковый запрос, с которым возникли проблемы;
  • скриншот выдачи или ссылка на эту выдачу
  • что хотели найти.

Соберём самые популярные проблемы, сгруппируем их и начнём работать над новыми обновлениями. Спасибо!

{ "author_name": "Александр Хнычков", "author_type": "editor", "tags": [], "comments": 108, "likes": 85, "favorites": 30, "is_advertisement": false, "subsite_label": "team", "id": 754954, "is_wide": true, "is_ugc": false, "date": "Fri, 04 Jun 2021 18:33:47 +0300", "is_special": false }
0
108 комментариев
Популярные
По порядку
Написать комментарий...
60

Неужели сложно добавить поиск только по заголовкам как функцию?

Ответить
0

Об этом написано в дальнейших планах: «Поисковые фильтры». Сделаем

Ответить
35

По-моему, это должно было быть в одном из первоочередных планов.

Ответить
1

Пока что успели поработать только над внутренностями поиска, чтобы он хотя бы что-то искал)

Ответить
5

Тоже первое что сделал. Опять льют в уши что делают и меняют что-то.

Ответить
1

У тебя фильтр "по релевантности" выбран, который учитывает рейтинг и другие метрики. По дате вроде все ок

Ответить
2

А какого фига пост с названием: "ПОИСК" по релевантности в заднице или вообще нет?

Ответить
0

Потому что об этом написано в данном посте
 Теперь при сортировке результатов поиска во вкладке «по релевантности» мы учитываем рейтинг материала, дату его публикации, количество комментариев и ещё много других параметров. Если коротко, наверху в выдаче показываются свежие результаты с точными совпадениями и высоким рейтингом, ниже — более давние или с более низким рейтингом

Ответить
0

А, ну типа они так и задумали. Но проблема что поиск по прежнему не работает.
Заголовки должны быть в приоритете. Почему такая простая истина не доходит до разработчиков? Вначале поиск по точному совпадению слов из заголовка, и только потом по внутренностям поста. 

Ответить
0

Возможно фильтр "по релевантности" установленный по умолчанию - не лучший вариант. И в поиске по дате не хватает выбора "сначала новые/старые"

Ответить
1

лучший

Ответить
46

и достаточно незаметно

согласен.

Ответить
–3

Брат, не унижай. Лучше укажи, что самое приоритетное.

Ответить

Собственный рубин

Vladislav
6

Добрый день!
По моему пользовательскому опыту вашего ресурса, самое приоритетное сейчас это функционал гибкой настройки поисковых запросов.
Выбирать автора по чьим постам искать, выбирать зону поиска введенного текста -заголовок\теги\текст\комментарии. Фильтр по дате, подсайту,блогам. Так же сортировка нужна по результатам.
Примерно вот так

Ответить

Крупный звук

Собстве…
4

Так и не понял как этот выбор разделов работает на  ̶п̶о̶р̶н̶о̶л̶а̶б̶е̶  рутреккере.
Никак, по-моему.
Может быть ты обьяснишь?

Ответить

Собственный

Крупный
4

Он сужает зону поиска, если есть понимание в каком разделе искать - это сильно упрощает задачу, увеличивает количество результатов более релевантных.

Ответить
0

Ну это даже не поиск по разделам, а по подразделам.

Ответить
1

Делаем фильтры.

Ответить

Собственный

Vladisl…
0

Спасибо!

Ответить

Крупный звук

Vladislav
5
Ответить
0

Брат

человек вашего уровня руководства не должен так обращаться.

Ответить
–1

Простите

Ответить
1

Ну, теперь после вложений от Бухманов придётся делать заметнее, ну или хотя бы имитировать бурную деятельность, ведь они читают DTF ¯\_( ͡° ͜ʖ ͡°)_/¯ В общем на этом пара лямов баксов и закончатся, можно расходиться, на допиливание поиска нужно будет ещё пару лямов.

Ответить
27

Как было проще искать информацию через гугл, так и осталось.

Ответить
5

коллаборация с гуглом, так и должно быть

Ответить
20

10/10 

Ответить
7

Хотел найти пользователя Tony Gun:
Хотя с апанасиком и zettai чётотам всё было нормально

Ответить
26

А я все нашел

Ответить
4

пишу о том, о чем молчит редакция

Нихуя ты важный @Tony Gun !

Ответить
3

А че они не пишут, приходится дополнять.

Ответить
9

вот так сработало

Ответить
11
Ответить
6

Справедливо

Ответить
3

Я тут, задавайте ваши вопросы :)

Ответить
5

Почему не ищешься? :)

Ответить
2

Ты тоже зашифровался :)

Ответить

Районный торшер

Bourbon
1

zettai чётотам

Да хорни он, ХО-Р-НИ.

Ответить
13

Ушел второй миллион

Ответить
0

В карман Елистратову  иначе никак не объяснишь, почему после инвестиции в 2 млн ему и чимде повысили зарплату а остальным нет

Ответить
0

Хе

Ответить
11

ебать поперло, пятилетку за 2 дня

Ответить

Железный химик

4

У меня не проблема, но просьба/предложение:

При поиске тега сразу отправлять на url типа /tag/tagforsearch, а не на страницу поиска. Все время руки тянутся искать теги именно в поле поиска, но все время попадаю не на их страницу (╯°□°)╯︵ ┻━┻

Ответить
7

Сделаем дополнительную опцию поиска по тегам)

Ответить
3

Пожелание: дайте возможность сохранить настройки поиска для аккаунта. Когда постишь новости и проверяешь на дубль, или ищешь предыдущий материал, чтобы дать на него ссылку в посте - очень полезно сохранить найтроку "материалы, по дате"

Ответить
2

Что касается релевантности. Ну вот простой запрос. Результаты не очень, кмк.

Ответить
1

Не очень понятно как первый пост смог попасть наверх. Посмотрим, спасибо

Ответить
3

Еще, кмк, нужно заголовкам чуть больше веса дать. Пример так себе, но мне на нем проще всего было протестить заголовок, потому что словно в заголовке не частое.
Есть пост https://dtf.ru/dramaqueen/702740-ochevidnoe-neveroyatnoe-1
Результат поиска по "очевидное"

Ответить
1

Мы уже несколько раз повышали им вес, но уже сейчас понятно, что кажется недостаточно. Спасибо за пример, будем пробовать дальше изменять

Ответить
1

Тут еще «—» как-то могло повлиять на поиск, кстати

Ответить
0

Нашли одну проблему с весами блоков, вчера выкатили фикс — кажется стало заметно лучше. Можешь проверить по своим примерам, если интересно)

Ответить
0

Обожаю пожелания, нужные 3.5 людям под какой то кейс
Причём эти 3.5 могут через неделю месяц перестать заниматься тем ради чего было нововведение

Ответить
0

Обожаю мнения от людей, которые в основном потребляют контент, и не понимают, что UGC функционал нужно улучшать, вне зависимости от того, продолжит ли предложивший заниматься этим или нет, потому что другим функционал будет полезен.

Ответить
3

А будет ли поиск в закладках?

Ответить
2

Удвояю. Очень важная вещь, которую должны были сделать с самого начала.

Ответить
3

Допилить спойлеры для комментов не хотите?

Ответить
2

Молодцы

Ответить
2

На втором скрине вторая выдача - вообще ДАЖЕ БЛИЗКО не релевантна

Ответить

Долгий корабль

1

что изменилось в нашем поиске

изменилось 

Ответить

Долгий корабль

Долгий
1

постоянство - признак мастерства!

Ответить
1

Обновлять DTF? Это законно?

Ответить
1

Пишите такие посты после каждого тюнинга, чтобы сообщество проверяло и кидало примеры - так быстрее дело пойдет. Ну или в инбокс, тем кто хочет помочь.

Ответить
1

Прогресс налицо. Но надо получше "взвешивать" посты, чтобы полезные были сверху.

Ответить
1

там реально тексты разнятся в одной и той же выдаче? Или мен кажется?

Ответить
0

так разные же запросы

Ответить
1

Ты не понял. Я об этом

Ответить
0

Это просто совпадения в тексте в зависимости от запроса, бага тут нет, так поисковый движок обрабатывает. Но этих совпадений сейчас очень много и они достаточно сильно «шумят», планируем уменьшить их количество

Ответить
0

А что пытался найти?

Ответить

Районный торшер

0

Наконец то!
P.S. Поправьте.

Ответить

Блаженный шар

Я
0

Куда дел про рекламу

Ответить
1

А что не лайкаеш
Что нового: добавлена рекла...

Ответить

Блаженный шар

Я
0

Там два слеша, это не комментарий!

Ответить
0

Не грузится (¬‿¬ )

Ответить
0

 Если коротко, наверху в выдаче показываются свежие результаты с точными совпадениями и высоким рейтингом, ниже — более давние или с более низким рейтингом

Что то всё ещё херня какая то. Тестовый запрос и более старый пост с меньшим количеством лайков выше. Из за того, что там на 30 коментов больше, или того, что автор Вадим? Причём сверху вообще всё посты от 2020 года, хоть есть и свежее и более залайканые

Ответить
0

Интересно, посмотрим. Какой поисковый запрос, «Xbox Series X»?

Ответить
0

Да

Ответить
0

Спасибо

Ответить

Совершенный американец

0

В мобильном приложении сильно не хватает фильтров. Банально нельзя выбрать в каком порядке должны выдаваться результаты поиска. Например, по бОльшему соответствию или по дате.

И ещё: немного не по теме поиска. Сделайте нормальную систему тегов. Чтобы они не были частью текста, а ставились отдельно. И возможно можно как-то автоматизировать процесс их добавления. Например, при упоминании в статье какой-то игры автоматически ставится соответствующий тег

Ответить
0

Блин, почему поиск по заголовкам не в приорите-то? Его уже достаточно было бы, чтобы пользователи успокоились. По факту не изменили ничего, поиск по-прежнему не нужен.

Ответить
0

Как очистить историю поиска?

Ответить
0

Поиск по релевантности и материалам. Первые несколько постов в порядке, а с некоторыми совсем плохо. 

Ответить
0

отбой, не увидел, поторопился.

Ответить
0

Так он же на скрине у тебя есть, в смысле не ищется?

Ответить
0

всё, сорян:) Отбой

Ответить
0

Большое спасибо за то, что хотя бы начали что-то делать. Для меня было диким узнать в свое время, что  на сайте с таким потоком контента не работает поиск и более того этим даже никто не занимается. Надеюсь, что к осени мы получим один из важнейших функционалов сайта :)

Ну и конечно шутейка про "достаточно незаметно улучшаем наш поиск" 

Ответить
0

Если вы пробовали пользоваться им ещё полгода-год назад, то наверное помните, что найти что-то было практически нереально

Лол, сегодня искал пост с вариациями авы нахтигалки, но ничего не нашел. Хороший поиск, 10/10

Ответить
0

А можно ли использовать операторы? Если да, то какие?

Ответить
0

Лол вы вообще вкурсе что можно внедрить Google поиск на любой сайт. Как временное решение в 100 раз лучще того что щас))

Ответить

Определенный бас

0

Попытался найти нормальные правила сайта новым поиском, не получилось
То есть в эти 2 ляма мы нормальных правил не увидим? 

Ответить
0

нельзя было найти подсайт по запросу «Улучшаем dtf».

Офигеть, он таки существует! Пару раз пытался найти подсайт для предложений - так и не нашёл. По моему, ссылка на "Сломалось" и этот должны быть приколочены в разделе "О проекте"

Ответить
Читать все 108 комментариев
Комментарии
null