Поиск

Рассказываем что изменилось в нашем поиске за последнее время и собираем фидбек для дальнейших исправлений и улучшений.

Последние несколько месяцев мы плавно и достаточно незаметно улучшаем наш поиск. Если вы пробовали пользоваться им ещё полгода-год назад, то наверное помните, что найти что-то было практически нереально, а в самом топе выдачи могли спокойно попадаться сильно заминусованные посты и не относящиеся к запросу комментарии.

По этой причине работы по поиску мы начали с самых базовых вещей, которые помогли постепенно довести его до состояния хоть не идеального, но хотя бы работающего инструмента. В этом посте хотелось бы рассказать что мы уже сделали, какие у нас дальнейшие планы ну и, конечно же, попросить у вас помощи с тестированием.

Что изменилось

Алгоритм поиска

В первую очередь, мы начали работать над самим алгоритмом. Теперь при сортировке результатов поиска во вкладке «по релевантности» мы учитываем рейтинг материала, дату его публикации, количество комментариев и ещё много других параметров. Если коротко, наверху в выдаче показываются свежие результаты с точными совпадениями и высоким рейтингом, ниже — более давние или с более низким рейтингом. Формулу рассчитывали сами и постепенно продолжаем её улучшать, подкручивая коэффициенты разных параметров.

Сортировка с учётом точности совпадения

В новом поиске на самый верх выдачи попадают самые точные совпадения с введенным поисковым запросом. После них уже идут совпадения, в которых может быть изменен род или склонение. На самом последнем месте оказываются неточные совпадения с опечатками или совпадения только по части запроса. Естественно, вся эта выдача дополнительно сортируется нашим алгоритмом.

Работа с опечатками и правки в поиске «по дате»

Поиск научился работать с опечатками. При наличии одной или нескольких ошибок в запросе он умеет показывать правильную выдачу (но не всегда). Для разной длины запроса применяются свои правила, например в длинных запросах допускается несколько ошибок, а в самых коротких запросах ошибки совсем не допускаются.

Однако, при сортировке «по дате» из-за работы с опечатками поисковый запрос мог очень сильно «размываться». Из-за этого по нужному запросу выдавались абсолютно не подходящие результаты, например при вводе «губка боб» показывались посты с совпадением по слову «гибкой», а на запрос «3080» показывались комментарии и посты про все остальные видеокарты (1080, 3070, 3060 и т.д.). Подправили работу с опечатками в этой сортировке, что помогло сильно улучшить выдачу «по дате».

Работа с запросами из нескольких слов и очень короткими запросами

Возникали проблемы с запросами, которые состоят из нескольких слов. Чтобы решить проблему подняли приоритет постов, где слова из выдачи находятся близко друг к другу и дополнительно добавили релевантности результатам с прямым совпадением

Была и обратная ситуация, например при вводе условного запроса «лего» топовые результаты приходились на выдачу по «лёг» или «Лема» и так работало для всех коротких запросов. Улучшили выдачу и для таких случаев.

Транслитерация

Добавили в поиск возможность транслитерировать русские буквы в английские и наоборот. Теперь куда проще искать пользователей, имена у которых могут быть написаны как на русском, так и на английском.

Смена раскладки при неправильном вводе

Теперь поиск умеет автоматически менять раскладку в запросе, если пользователь забыл её переключить. Например, при вводе «сниукзгтл» покажутся результаты по запросу «cyberpunk». Вместе с этим поправили смену раскладки для коротких запросов, когда поиск пытался заменить условный «vfx» на «мач».

Заглавные буквы в запросах

Были проблемы с поиском по запросам «nft», «npc» и похожими, например нельзя было найти подсайт по запросу «Улучшаем dtf». Убрали чувствительность к регистру для коротких запросов, теперь в таких случаях поиск отрабатывает корректно.

Дальнейшие планы

Все работы по поиску мы делали только внутри поискового движка и пока что совсем не занимались тем, как выглядит поиск у нас на сайте. Вот что есть в планах:

Поисковые фильтры

На данный момент нет возможности как-то настраивать поисковый запрос. Хотим добавить поиск по конкретным подсайтам и авторам, возможность искать только по редакционным материалам, настраивать диапазон рейтинга и дат публикации для поиска постов и комментариев, ну и другие полезные надстройки над нашим поиском.

Страница выдачи

Сейчас страница с результатами поиска по функциональности и дизайну совсем не соответствует новому алгоритму поиска. В первую очередь, планируем переработать сами острова с материалами, чтобы не было такого шума с выделенными совпадениями. Поработаем ещё и над сортировками и новыми вкладками для удобства поиска по разным категориям.

Работа над алгоритмом

Мы успели поработать только над базовыми вещами внутри поисковой системы, поэтому планируем и дальше продолжать постепенно улучшать и настраивать поиск под наши сайты. Например, в ближайших планах поработать с синонимами и словарями, чтобы приводить разные по написанию слова к одному поисковому запросу.

Собираем фидбек

С нами уже связался инициативный читатель, который провёл консультацию по поиску и помог собрать некоторые баги. Теперь мы дополнительно хотим попросить помощи у вас, чтобы собрать наиболее частые проблемы и продолжать дальше улучшать поиск.

Будет здорово, если вы попробуете поискать что-то в обновлённом поиске (лучше не присылать старые скриншоты, они могут быть не актуальны) и пришлете проблемы, с которыми столкнулись. Желательно делать это в таком виде:

  • поисковый запрос, с которым возникли проблемы;
  • скриншот выдачи или ссылка на эту выдачу
  • что хотели найти.

Соберём самые популярные проблемы, сгруппируем их и начнём работать над новыми обновлениями. Спасибо!

0
111 комментариев
Написать комментарий...
Filthy Casul

Неужели сложно добавить поиск только по заголовкам как функцию?

Ответить
Развернуть ветку
Александр Хнычков
Автор

Об этом написано в дальнейших планах: «Поисковые фильтры». Сделаем

Ответить
Развернуть ветку
2 комментария
Monolith in the woods

Тоже первое что сделал. Опять льют в уши что делают и меняют что-то.

Ответить
Развернуть ветку
5 комментариев
Gledpaop

лучший

Ответить
Развернуть ветку
Транспортный Женя
и достаточно незаметно

согласен.

Ответить
Развернуть ветку
Vlad

Брат, не унижай. Лучше укажи, что самое приоритетное.

Ответить
Развернуть ветку
9 комментариев
STAVAR

Ну, теперь после вложений от Бухманов придётся делать заметнее, ну или хотя бы имитировать бурную деятельность, ведь они читают DTF ¯\_( ͡° ͜ʖ ͡°)_/¯ В общем на этом пара лямов баксов и закончатся, можно расходиться, на допиливание поиска нужно будет ещё пару лямов.

Ответить
Развернуть ветку
VVladimirVV

Как было проще искать информацию через гугл, так и осталось.

Ответить
Развернуть ветку
Транспортный Женя

коллаборация с гуглом, так и должно быть

Ответить
Развернуть ветку
lergvot

10/10 

Ответить
Развернуть ветку
Bourbon

Хотел найти пользователя Tony Gun:
Хотя с апанасиком и zettai чётотам всё было нормально

Ответить
Развернуть ветку
Judge Jameson

А я все нашел

Ответить
Развернуть ветку
2 комментария
Аккаунт заморожен

Комментарий недоступен

Ответить
Развернуть ветку
1 комментарий
Bourbon

Справедливо

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
2 комментария
Слышный Филипп

Комментарий недоступен

Ответить
Развернуть ветку
1 комментарий
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
max payne

В карман Елистратову  иначе никак не объяснишь, почему после инвестиции в 2 млн ему и чимде повысили зарплату а остальным нет

Ответить
Развернуть ветку
1 комментарий
Inquisitor

ебать поперло, пятилетку за 2 дня

Ответить
Развернуть ветку
Lemon5ky
Ответить
Развернуть ветку
Полицейский рубин

У меня не проблема, но просьба/предложение:

При поиске тега сразу отправлять на url типа /tag/tagforsearch, а не на страницу поиска. Все время руки тянутся искать теги именно в поле поиска, но все время попадаю не на их страницу (╯°□°)╯︵ ┻━┻

Ответить
Развернуть ветку
Александр Хнычков
Автор

Сделаем дополнительную опцию поиска по тегам)

Ответить
Развернуть ветку
1 комментарий
Arazect Shepard

Фейл х2. Работайте дальше.

Ответить
Развернуть ветку
Александр Хнычков
Автор

Поправили

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
7 комментариев
Семен Смирнов

Обожаю пожелания, нужные 3.5 людям под какой то кейс
Причём эти 3.5 могут через неделю месяц перестать заниматься тем ради чего было нововведение

Ответить
Развернуть ветку
1 комментарий
Краткий Мика

А будет ли поиск в закладках?

Ответить
Развернуть ветку
Василий Пубкин

Удвояю. Очень важная вещь, которую должны были сделать с самого начала.

Ответить
Развернуть ветку
Ayanokoji

Допилить спойлеры для комментов не хотите?

Ответить
Развернуть ветку
Vlad

Хотим

Ответить
Развернуть ветку
Оригинальный ключ

Молодцы

Ответить
Развернуть ветку
Monolith in the woods

На втором скрине вторая выдача - вообще ДАЖЕ БЛИЗКО не релевантна

Ответить
Развернуть ветку
Окончательный жар
что изменилось в нашем поиске
изменилось 
Ответить
Развернуть ветку
Окончательный жар

постоянство - признак мастерства!

Ответить
Развернуть ветку
Арсений Мирный

Обновлять DTF? Это законно?

Ответить
Развернуть ветку
Monolith in the woods

Блин, почему поиск по заголовкам не в приорите-то? Его уже достаточно было бы, чтобы пользователи успокоились. По факту не изменили ничего, поиск по-прежнему не нужен.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Антон Семенов

Прогресс налицо. Но надо получше "взвешивать" посты, чтобы полезные были сверху.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Monolith in the woods

там реально тексты разнятся в одной и той же выдаче? Или мен кажется?

Ответить
Развернуть ветку
4 комментария
Александр Хнычков
Автор

А что пытался найти?

Ответить
Развернуть ветку
6 комментариев
Слышный Филипп

Комментарий недоступен

Ответить
Развернуть ветку
Александр Хнычков
Автор

Спасибо :) 

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Александр Хнычков
Автор

По идее после каждого редактирования пост должен заново индексироваться. Посмотрим, спасибо

Ответить
Развернуть ветку
CQLUNDAOA

//

Ответить
Развернуть ветку
Отличный Никита

Куда дел про рекламу

Ответить
Развернуть ветку
2 комментария
Bourbon

Не грузится (¬‿¬ )

Ответить
Развернуть ветку
dimap
 Если коротко, наверху в выдаче показываются свежие результаты с точными совпадениями и высоким рейтингом, ниже — более давние или с более низким рейтингом

Что то всё ещё херня какая то. Тестовый запрос и более старый пост с меньшим количеством лайков выше. Из за того, что там на 30 коментов больше, или того, что автор Вадим? Причём сверху вообще всё посты от 2020 года, хоть есть и свежее и более залайканые

Ответить
Развернуть ветку
Александр Хнычков
Автор

Интересно, посмотрим. Какой поисковый запрос, «Xbox Series X»?

Ответить
Развернуть ветку
2 комментария
Сердечный теркин30см

В мобильном приложении сильно не хватает фильтров. Банально нельзя выбрать в каком порядке должны выдаваться результаты поиска. Например, по бОльшему соответствию или по дате.

И ещё: немного не по теме поиска. Сделайте нормальную систему тегов. Чтобы они не были частью текста, а ставились отдельно. И возможно можно как-то автоматизировать процесс их добавления. Например, при упоминании в статье какой-то игры автоматически ставится соответствующий тег

Ответить
Развернуть ветку
Little Idiot

Как очистить историю поиска?

Ответить
Развернуть ветку
Скорп

Поиск по релевантности и материалам. Первые несколько постов в порядке, а с некоторыми совсем плохо. 

Ответить
Развернуть ветку
Monolith in the woods

отбой, не увидел, поторопился.

Ответить
Развернуть ветку
Александр Хнычков
Автор

Так он же на скрине у тебя есть, в смысле не ищется?

Ответить
Развернуть ветку
1 комментарий
Весёлый назгул

Большое спасибо за то, что хотя бы начали что-то делать. Для меня было диким узнать в свое время, что  на сайте с таким потоком контента не работает поиск и более того этим даже никто не занимается. Надеюсь, что к осени мы получим один из важнейших функционалов сайта :)

Ну и конечно шутейка про "достаточно незаметно улучшаем наш поиск" 

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Aniloks

А можно ли использовать операторы? Если да, то какие?

Ответить
Развернуть ветку
Защитный бокал

Это начала конца!

Ответить
Развернуть ветку
Защитный бокал
Ответить
Развернуть ветку
Гарант твоей девственности

Лол вы вообще вкурсе что можно внедрить Google поиск на любой сайт. Как временное решение в 100 раз лучще того что щас))

Ответить
Развернуть ветку
Столичный нос

Попытался найти нормальные правила сайта новым поиском, не получилось
То есть в эти 2 ляма мы нормальных правил не увидим? 

Ответить
Развернуть ветку
Zomboss
нельзя было найти подсайт по запросу «Улучшаем dtf».

Офигеть, он таки существует! Пару раз пытался найти подсайт для предложений - так и не нашёл. По моему, ссылка на "Сломалось" и этот должны быть приколочены в разделе "О проекте"

Ответить
Развернуть ветку
Читать все 111 комментариев
null