Поиск

Рассказываем что изменилось в нашем поиске за последнее время и собираем фидбек для дальнейших исправлений и улучшений.

Последние несколько месяцев мы плавно и достаточно незаметно улучшаем наш поиск. Если вы пробовали пользоваться им ещё полгода-год назад, то наверное помните, что найти что-то было практически нереально, а в самом топе выдачи могли спокойно попадаться сильно заминусованные посты и не относящиеся к запросу комментарии.

По этой причине работы по поиску мы начали с самых базовых вещей, которые помогли постепенно довести его до состояния хоть не идеального, но хотя бы работающего инструмента. В этом посте хотелось бы рассказать что мы уже сделали, какие у нас дальнейшие планы ну и, конечно же, попросить у вас помощи с тестированием.

Что изменилось

Алгоритм поиска

В первую очередь, мы начали работать над самим алгоритмом. Теперь при сортировке результатов поиска во вкладке «по релевантности» мы учитываем рейтинг материала, дату его публикации, количество комментариев и ещё много других параметров. Если коротко, наверху в выдаче показываются свежие результаты с точными совпадениями и высоким рейтингом, ниже — более давние или с более низким рейтингом. Формулу рассчитывали сами и постепенно продолжаем её улучшать, подкручивая коэффициенты разных параметров.

Сортировка с учётом точности совпадения

В новом поиске на самый верх выдачи попадают самые точные совпадения с введенным поисковым запросом. После них уже идут совпадения, в которых может быть изменен род или склонение. На самом последнем месте оказываются неточные совпадения с опечатками или совпадения только по части запроса. Естественно, вся эта выдача дополнительно сортируется нашим алгоритмом.

Работа с опечатками и правки в поиске «по дате»

Поиск научился работать с опечатками. При наличии одной или нескольких ошибок в запросе он умеет показывать правильную выдачу (но не всегда). Для разной длины запроса применяются свои правила, например в длинных запросах допускается несколько ошибок, а в самых коротких запросах ошибки совсем не допускаются.

Однако, при сортировке «по дате» из-за работы с опечатками поисковый запрос мог очень сильно «размываться». Из-за этого по нужному запросу выдавались абсолютно не подходящие результаты, например при вводе «губка боб» показывались посты с совпадением по слову «гибкой», а на запрос «3080» показывались комментарии и посты про все остальные видеокарты (1080, 3070, 3060 и т.д.). Подправили работу с опечатками в этой сортировке, что помогло сильно улучшить выдачу «по дате».

Работа с запросами из нескольких слов и очень короткими запросами

Возникали проблемы с запросами, которые состоят из нескольких слов. Чтобы решить проблему подняли приоритет постов, где слова из выдачи находятся близко друг к другу и дополнительно добавили релевантности результатам с прямым совпадением

Была и обратная ситуация, например при вводе условного запроса «лего» топовые результаты приходились на выдачу по «лёг» или «Лема» и так работало для всех коротких запросов. Улучшили выдачу и для таких случаев.

Транслитерация

Добавили в поиск возможность транслитерировать русские буквы в английские и наоборот. Теперь куда проще искать пользователей, имена у которых могут быть написаны как на русском, так и на английском.

Смена раскладки при неправильном вводе

Теперь поиск умеет автоматически менять раскладку в запросе, если пользователь забыл её переключить. Например, при вводе «сниукзгтл» покажутся результаты по запросу «cyberpunk». Вместе с этим поправили смену раскладки для коротких запросов, когда поиск пытался заменить условный «vfx» на «мач».

Заглавные буквы в запросах

Были проблемы с поиском по запросам «nft», «npc» и похожими, например нельзя было найти подсайт по запросу «Улучшаем dtf». Убрали чувствительность к регистру для коротких запросов, теперь в таких случаях поиск отрабатывает корректно.

Дальнейшие планы

Все работы по поиску мы делали только внутри поискового движка и пока что совсем не занимались тем, как выглядит поиск у нас на сайте. Вот что есть в планах:

Поисковые фильтры

На данный момент нет возможности как-то настраивать поисковый запрос. Хотим добавить поиск по конкретным подсайтам и авторам, возможность искать только по редакционным материалам, настраивать диапазон рейтинга и дат публикации для поиска постов и комментариев, ну и другие полезные надстройки над нашим поиском.

Страница выдачи

Сейчас страница с результатами поиска по функциональности и дизайну совсем не соответствует новому алгоритму поиска. В первую очередь, планируем переработать сами острова с материалами, чтобы не было такого шума с выделенными совпадениями. Поработаем ещё и над сортировками и новыми вкладками для удобства поиска по разным категориям.

Работа над алгоритмом

Мы успели поработать только над базовыми вещами внутри поисковой системы, поэтому планируем и дальше продолжать постепенно улучшать и настраивать поиск под наши сайты. Например, в ближайших планах поработать с синонимами и словарями, чтобы приводить разные по написанию слова к одному поисковому запросу.

Собираем фидбек

С нами уже связался инициативный читатель, который провёл консультацию по поиску и помог собрать некоторые баги. Теперь мы дополнительно хотим попросить помощи у вас, чтобы собрать наиболее частые проблемы и продолжать дальше улучшать поиск.

Будет здорово, если вы попробуете поискать что-то в обновлённом поиске (лучше не присылать старые скриншоты, они могут быть не актуальны) и пришлете проблемы, с которыми столкнулись. Желательно делать это в таком виде:

  • поисковый запрос, с которым возникли проблемы;
  • скриншот выдачи или ссылка на эту выдачу
  • что хотели найти.

Соберём самые популярные проблемы, сгруппируем их и начнём работать над новыми обновлениями. Спасибо!

0
111 комментариев
Популярные
По порядку
Написать комментарий...
Filthy Casul

Неужели сложно добавить поиск только по заголовкам как функцию?

Ответить
61
Развернуть ветку
Александр Хнычков

Об этом написано в дальнейших планах: «Поисковые фильтры». Сделаем

Ответить
0
Развернуть ветку
Алан Кенигсберг

По-моему, это должно было быть в одном из первоочередных планов.

Ответить
35
Развернуть ветку
Александр Хнычков

Пока что успели поработать только над внутренностями поиска, чтобы он хотя бы что-то искал)

Ответить
2
Развернуть ветку
Monolith in the woods

Тоже первое что сделал. Опять льют в уши что делают и меняют что-то.

Ответить
5
Развернуть ветку
VS

У тебя фильтр "по релевантности" выбран, который учитывает рейтинг и другие метрики. По дате вроде все ок

Ответить
1
Развернуть ветку
Monolith in the woods

А какого фига пост с названием: "ПОИСК" по релевантности в заднице или вообще нет?

Ответить
2
Развернуть ветку
VS

Потому что об этом написано в данном посте
 Теперь при сортировке результатов поиска во вкладке «по релевантности» мы учитываем рейтинг материала, дату его публикации, количество комментариев и ещё много других параметров. Если коротко, наверху в выдаче показываются свежие результаты с точными совпадениями и высоким рейтингом, ниже — более давние или с более низким рейтингом

Ответить
0
Развернуть ветку
Monolith in the woods

А, ну типа они так и задумали. Но проблема что поиск по прежнему не работает.
Заголовки должны быть в приоритете. Почему такая простая истина не доходит до разработчиков? Вначале поиск по точному совпадению слов из заголовка, и только потом по внутренностям поста. 

Ответить
0
Развернуть ветку
VS

Возможно фильтр "по релевантности" установленный по умолчанию - не лучший вариант. И в поиске по дате не хватает выбора "сначала новые/старые"

Ответить
0
Развернуть ветку
Gledpaop

лучший

Ответить
1
Развернуть ветку
Totorimoto

и достаточно незаметно
согласен.

Ответить
47
Развернуть ветку
Vlad

Брат, не унижай. Лучше укажи, что самое приоритетное.

Ответить
–3
Развернуть ветку
Иной бинокль

Добрый день!
По моему пользовательскому опыту вашего ресурса, самое приоритетное сейчас это функционал гибкой настройки поисковых запросов.
Выбирать автора по чьим постам искать, выбирать зону поиска введенного текста -заголовок\теги\текст\комментарии. Фильтр по дате, подсайту,блогам. Так же сортировка нужна по результатам.
Примерно вот так

Ответить
6
Развернуть ветку
Иной бинокль

Так и не понял как этот выбор разделов работает на  ̶п̶о̶р̶н̶о̶л̶а̶б̶е̶  рутреккере.
Никак, по-моему.
Может быть ты обьяснишь?

Ответить
4
Развернуть ветку
Иной бинокль

Он сужает зону поиска, если есть понимание в каком разделе искать - это сильно упрощает задачу, увеличивает количество результатов более релевантных.

Ответить
4
Развернуть ветку
XIX

Ну это даже не поиск по разделам, а по подразделам.

Ответить
0
Развернуть ветку
Vlad

Делаем фильтры.

Ответить
1
Развернуть ветку
Иной бинокль

Спасибо!

Ответить
0
Развернуть ветку
Иной бинокль
Ответить
5
Развернуть ветку
Monolith in the woods

Брат
человек вашего уровня руководства не должен так обращаться.

Ответить
–1
Развернуть ветку
Vlad

Простите

Ответить
–1
Развернуть ветку
STAVAR

Ну, теперь после вложений от Бухманов придётся делать заметнее, ну или хотя бы имитировать бурную деятельность, ведь они читают DTF ¯\_( ͡° ͜ʖ ͡°)_/¯ В общем на этом пара лямов баксов и закончатся, можно расходиться, на допиливание поиска нужно будет ещё пару лямов.

Ответить
1
Развернуть ветку
VVladimirVV

Как было проще искать информацию через гугл, так и осталось.

Ответить
27
Развернуть ветку
Totorimoto

коллаборация с гуглом, так и должно быть

Ответить
5
Развернуть ветку
lergvot

10/10 

Ответить
21
Развернуть ветку
Bourbon

Хотел найти пользователя Tony Gun:
Хотя с апанасиком и zettai чётотам всё было нормально

Ответить
7
Развернуть ветку
Judge Jameson

А я все нашел

Ответить
26
Развернуть ветку
Judge Jameson

пишу о том, о чем молчит редакция
Нихуя ты важный @Tony Gun !

Ответить
4
Развернуть ветку
Tony Gun

А че они не пишут, приходится дополнять.

Ответить
3
Развернуть ветку
Егор Кавинский

вот так сработало

Ответить
10
Развернуть ветку
Tony Gun
Ответить
11
Развернуть ветку
Bourbon

Справедливо

Ответить
6
Развернуть ветку
Tony Gun

Я тут, задавайте ваши вопросы :)

Ответить
3
Развернуть ветку
Bourbon

Почему не ищешься? :)

Ответить
5
Развернуть ветку
Tony Gun

Ты тоже зашифровался :)

Ответить
2
Развернуть ветку
Иной бинокль

Комментарий удален по просьбе пользователя

Ответить
1
Развернуть ветку
Bourbon
Ответить
1
Развернуть ветку
IFDD

Ушел второй миллион

Ответить
13
Развернуть ветку
max payne

В карман Елистратову  иначе никак не объяснишь, почему после инвестиции в 2 млн ему и чимде повысили зарплату а остальным нет

Ответить
0
Развернуть ветку
IFDD

Хе

Ответить
0
Развернуть ветку
Inquisitor

ебать поперло, пятилетку за 2 дня

Ответить
11
Развернуть ветку
Dmitry Lemon5ky
Ответить
6
Развернуть ветку
Иной бинокль

У меня не проблема, но просьба/предложение:

При поиске тега сразу отправлять на url типа /tag/tagforsearch, а не на страницу поиска. Все время руки тянутся искать теги именно в поле поиска, но все время попадаю не на их страницу (╯°□°)╯︵ ┻━┻

Ответить
4
Развернуть ветку
Александр Хнычков

Сделаем дополнительную опцию поиска по тегам)

Ответить
7
Развернуть ветку
Zomboss

А есть поиск по комбинации тегов?

Ответить
0
Развернуть ветку
Александр Хнычков

Поправили

Ответить
0
Развернуть ветку
Tony Gun

Пожелание: дайте возможность сохранить настройки поиска для аккаунта. Когда постишь новости и проверяешь на дубль, или ищешь предыдущий материал, чтобы дать на него ссылку в посте - очень полезно сохранить найтроку "материалы, по дате"

Ответить
3
Развернуть ветку
Tony Gun

Что касается релевантности. Ну вот простой запрос. Результаты не очень, кмк.

Ответить
2
Развернуть ветку
Александр Хнычков

Не очень понятно как первый пост смог попасть наверх. Посмотрим, спасибо

Ответить
1
Развернуть ветку
Tony Gun

Еще, кмк, нужно заголовкам чуть больше веса дать. Пример так себе, но мне на нем проще всего было протестить заголовок, потому что словно в заголовке не частое.
Есть пост https://dtf.ru/dramaqueen/702740-ochevidnoe-neveroyatnoe-1
Результат поиска по "очевидное"

Ответить
3
Развернуть ветку
Александр Хнычков

Мы уже несколько раз повышали им вес, но уже сейчас понятно, что кажется недостаточно. Спасибо за пример, будем пробовать дальше изменять

Ответить
1
Развернуть ветку
Александр Хнычков

Тут еще «—» как-то могло повлиять на поиск, кстати

Ответить
1
Развернуть ветку
Александр Хнычков

Нашли одну проблему с весами блоков, вчера выкатили фикс — кажется стало заметно лучше. Можешь проверить по своим примерам, если интересно)

Ответить
0
Развернуть ветку
Семен Смирнов

Обожаю пожелания, нужные 3.5 людям под какой то кейс
Причём эти 3.5 могут через неделю месяц перестать заниматься тем ради чего было нововведение

Ответить
0
Развернуть ветку
Tony Gun

Обожаю мнения от людей, которые в основном потребляют контент, и не понимают, что UGC функционал нужно улучшать, вне зависимости от того, продолжит ли предложивший заниматься этим или нет, потому что другим функционал будет полезен.

Ответить
0
Развернуть ветку
Revendi

А будет ли поиск в закладках?

Ответить
3
Развернуть ветку
Василий Пубкин

Удвояю. Очень важная вещь, которую должны были сделать с самого начала.

Ответить
2
Развернуть ветку
Ayanokoji

Допилить спойлеры для комментов не хотите?

Ответить
3
Развернуть ветку
Vlad

Хотим

Ответить
0
Развернуть ветку
Иной бинокль

Молодцы

Ответить
2
Развернуть ветку
Monolith in the woods

На втором скрине вторая выдача - вообще ДАЖЕ БЛИЗКО не релевантна

Ответить
2
Развернуть ветку
Иной бинокль

что изменилось в нашем поиске
изменилось 

Ответить
1
Развернуть ветку
Иной бинокль

постоянство - признак мастерства!

Ответить
1
Развернуть ветку
Арсений Мирный

Обновлять DTF? Это законно?

Ответить
1
Развернуть ветку
Monolith in the woods

Блин, почему поиск по заголовкам не в приорите-то? Его уже достаточно было бы, чтобы пользователи успокоились. По факту не изменили ничего, поиск по-прежнему не нужен.

Ответить
1
Развернуть ветку
Tony Gun

Пишите такие посты после каждого тюнинга, чтобы сообщество проверяло и кидало примеры - так быстрее дело пойдет. Ну или в инбокс, тем кто хочет помочь.

Ответить
1
Развернуть ветку
Антон Семенов

Прогресс налицо. Но надо получше "взвешивать" посты, чтобы полезные были сверху.

Ответить
1
Развернуть ветку
Monolith in the woods

там реально тексты разнятся в одной и той же выдаче? Или мен кажется?

Ответить
1
Развернуть ветку
Tony Gun

так разные же запросы

Ответить
0
Развернуть ветку
Monolith in the woods

Ты не понял. Я об этом

Ответить
1
Развернуть ветку
Tony Gun
Ответить
0
Развернуть ветку
Александр Хнычков

Это просто совпадения в тексте в зависимости от запроса, бага тут нет, так поисковый движок обрабатывает. Но этих совпадений сейчас очень много и они достаточно сильно «шумят», планируем уменьшить их количество

Ответить
0
Развернуть ветку
Александр Хнычков

А что пытался найти?

Ответить
0
Развернуть ветку
Tony Gun

обзор days gone, рецензия days gone

Ответить
0
Развернуть ветку
Александр Хнычков

А есть такие посты? Скинешь ссылки, пожалуйста?

Ответить
0
Развернуть ветку
Александр Хнычков

Тоже должно стать лучше

Ответить
1
Развернуть ветку
Александр Хнычков

Это чуть попозже поправится тоже) 

Ответить
0
Развернуть ветку
Иной бинокль

Комментарий удален по просьбе пользователя

Ответить
0
Развернуть ветку
Александр Хнычков

Спасибо :) 

Ответить
1
Развернуть ветку
Tony Gun

Запрос - https://dtf.ru/search/v2/content/new?query=The%20Amazing%20American%20Circus

Результат - на картинке

В посте - нет этого текста. Игру переносили, автор, по-видимому, ее удалил из списка. Кеш для поиска используется устаревший.

Ответить
0
Развернуть ветку
Александр Хнычков

По идее после каждого редактирования пост должен заново индексироваться. Посмотрим, спасибо

Ответить
1
Развернуть ветку
Rieran

//

Ответить
0
Развернуть ветку
Иной бинокль

Куда дел про рекламу

Ответить
0
Развернуть ветку
Rieran

А что не лайкаеш
Что нового: добавлена рекла...

Ответить
1
Развернуть ветку
Иной бинокль

Там два слеша, это не комментарий!

Ответить
0
Развернуть ветку
Bourbon

Не грузится (¬‿¬ )

Ответить
0
Развернуть ветку
dimap

 Если коротко, наверху в выдаче показываются свежие результаты с точными совпадениями и высоким рейтингом, ниже — более давние или с более низким рейтингом
Что то всё ещё херня какая то. Тестовый запрос и более старый пост с меньшим количеством лайков выше. Из за того, что там на 30 коментов больше, или того, что автор Вадим? Причём сверху вообще всё посты от 2020 года, хоть есть и свежее и более залайканые

Ответить
0
Развернуть ветку
Александр Хнычков

Интересно, посмотрим. Какой поисковый запрос, «Xbox Series X»?

Ответить
0
Развернуть ветку
dimap

Да

Ответить
0
Развернуть ветку
Александр Хнычков

Спасибо

Ответить
0
Развернуть ветку
Иной бинокль

В мобильном приложении сильно не хватает фильтров. Банально нельзя выбрать в каком порядке должны выдаваться результаты поиска. Например, по бОльшему соответствию или по дате.

И ещё: немного не по теме поиска. Сделайте нормальную систему тегов. Чтобы они не были частью текста, а ставились отдельно. И возможно можно как-то автоматизировать процесс их добавления. Например, при упоминании в статье какой-то игры автоматически ставится соответствующий тег

Ответить
0
Развернуть ветку
Little Idiot

Как очистить историю поиска?

Ответить
0
Развернуть ветку
Скорпикора

Поиск по релевантности и материалам. Первые несколько постов в порядке, а с некоторыми совсем плохо. 

Ответить
0
Развернуть ветку
Monolith in the woods

отбой, не увидел, поторопился.

Ответить
0
Развернуть ветку
Александр Хнычков

Так он же на скрине у тебя есть, в смысле не ищется?

Ответить
0
Развернуть ветку
Monolith in the woods

всё, сорян:) Отбой

Ответить
0
Развернуть ветку
Весёлый назгул

Большое спасибо за то, что хотя бы начали что-то делать. Для меня было диким узнать в свое время, что  на сайте с таким потоком контента не работает поиск и более того этим даже никто не занимается. Надеюсь, что к осени мы получим один из важнейших функционалов сайта :)

Ну и конечно шутейка про "достаточно незаметно улучшаем наш поиск" 

Ответить
0
Развернуть ветку
Жилой меч

Комментарий удален по просьбе пользователя

Ответить
0
Развернуть ветку
Aniloks

А можно ли использовать операторы? Если да, то какие?

Ответить
0
Развернуть ветку
Иной бинокль

Это начала конца!

Ответить
0
Развернуть ветку
Иной бинокль
Ответить
0
Развернуть ветку
Гарант твоей девственности

Лол вы вообще вкурсе что можно внедрить Google поиск на любой сайт. Как временное решение в 100 раз лучще того что щас))

Ответить
0
Развернуть ветку
Иной бинокль

Попытался найти нормальные правила сайта новым поиском, не получилось
То есть в эти 2 ляма мы нормальных правил не увидим? 

Ответить
0
Развернуть ветку
Zomboss

нельзя было найти подсайт по запросу «Улучшаем dtf».
Офигеть, он таки существует! Пару раз пытался найти подсайт для предложений - так и не нашёл. По моему, ссылка на "Сломалось" и этот должны быть приколочены в разделе "О проекте"

Ответить
0
Развернуть ветку
Читать все 111 комментариев
null