Как работает список рекомендаций в Steam

Главное из анализа инди-разработчика Эрика Джонсона и откровений продуктового дизайнера Valve.

Инди-разработчик Эрик Джонсон, создатель игры Life Goes On: Done to Death, решил разобраться в работе списка рекомендаций (Discovery Queue) — подборки из нескольких потенциально интересных пользователю игр, ежедневно появляющейся на главной странице Steam.

В рамках исследования он проанализировал 672 игры, которые сервис рекомендовал ему в течение двух месяцев, и попытался выведать подробности работы алгоритмов у одного из ключевых разработчиков онлайн-магазина Valve Алдена Кролла. Мы выбрали из анализа разработчика главное.

В начале материала Джонсон предупреждает, что он вёл наблюдения только за своим личным аккаунтом, и не может гарантировать, что у других пользователей алгоритм будет работать схожим образом — хотя это было бы логично предположить. Кроме того, разработчик не обладает информацией о том, какие именно изменения Valve вносила в алгоритм за период наблюдения, и как они отразились на результатах.

До эксперимента Джонсон периодически пользовался списком рекомендаций: к моменту начала наблюдений он отсмотрел 1323 игры и отметил 339 из них как неинтересные.

Valve не раскрывает механизмов работы системы рекомендаций — если станет известно слишком много, алгоритм могут попытаться обмануть. Самый «публичный» элемент системы — это надпись «этот товар находится в списке ваших рекомендаций, потому что...», которая появляется после того, как вы кликните на очередную предлагаемую игру. Однако из разговора с Алденом Кроллом, продуктовым дизайнером Valve, разработчик узнал, что указанное в этой надписи объяснение не стоит считать настоящей причиной того, что игра оказалась среди рекомендованных.

По словам Кролла, надпись «этот товар находится в списке ваших рекомендаций, потому что на него много положительных отзывов» не будет означать, что её показывают вам именно по этой причине. Это скорее «предположение о том, почему пользователю может понравится эта конкретная игра».

Кролл объясняет, что механизм работает не самым очевидным образом, и иногда то почему он рекомендует пользователю ту или иную игру, очень сложно объяснить словами. Тем не менее в Valve считают, что игрока непременно нужно снабжать простыми и понятными объяснениями — для этой цели в списке и появились «заглушки» вроде «лидера продаж».

За время эксперимента Джонсону чаще всего встречалось объяснение «потому что игра популярна», — в 42% случаев. Как именно Steam рассчитывает «популярность», неизвестно — вероятно, это связано с количеством свежих обзоров. Джонсону показалось странным, что механизм, призванный находить для пользователя игры, которые было бы трудно найти обычными средствами, так часто рекомендует то, что и так популярно.

Вторая по популярности «причина» — большое количество положительных отзывов. Это объяснение встретилось разработчику в 38% случаев. Такую надпись получают только игры с 80 и более процентов положительных отзывов, но, как утверждает Кролл, гнаться за этой цифрой нет никакого смысла.

По словам сотрудника Valve, на вероятность появления игры в рекомендуемых может повлиять лишь «негативный» рейтинг: если у вашей игры рейтинг выше «смешанного», то конкретный процент положительных отзывов алгоритм не волнует. Никакого кода, привязанного к значению «80% положительных отзывов», не существует.

Третий по популярности повод — случайные рекомендации, призванные улучшить алгоритмы Valve. Как утверждает Джонсон, система учитывает только покупки и проведённое в игре время. Если вы добавите игру в список желаемого, нажмёте на кнопку «скрыть» или на кнопку «следующее», алгоритм проигнорирует ваши действия и даже не попытается извлечь из них информацию о ваших предпочтениях.

Четвёртая по популярности причина — «высокий рейтинг на Metacritic». Здесь, судя по всему, тоже работает система «да — нет»: алгоритм не интересует конкретная цифра рейтинга. Такая надпись встречается очень редко, — Steam, по понятным причинам, уделяет больше внимания внутренним показателям, чем рейтингам на сторонних площадках.

36 игр из 672 появились у Джонсона в рекомендованных как «новые игры в Steam». Таким образом площадка предоставляет немного дополнительного трафика только что вышедшим играм — в эту категорию не попадают игры старше десяти дней.

Оставшиеся две категории — «игры со скидками» и «лидеры продаж». Последняя, судя по всему, чаще всего используется для популярных предзаказов — в «популярное» ещё не вышедшие игры не попадают.

Судя по всему, главный параметр, который действительно влияет на появление игры в рекомендациях, это количество новых отзывов. Персональные предпочтения пользователя либо действительно не играют никакой роли, либо эта часть алгоритма полностью скрыта от пользователей.

Среди показанных Джонсону игр 543 уже вышли, 109 находились в режиме «раннего доступа», 18 были доступны для предзаказа, и две не были доступны ни в каком виде.

6,8% рекомендованных разработчику игр содержали тег «виртуальная реальность» — хотя VR-шлема у него нет. Учитывая, что VR-игры занимают около 10% каталога Steam, по оценке Джонсона, нельзя утверждать, что Valve искусственно продвигает такие проекты.

60,9% игр, рекомендованных сервисом, содержали тег «инди» — при этом доля таких игр в магазине составляет 72%. Судя по всему, алгоритм отдаёт предпочтение играм без такого тега.

Если пользоваться очередью рекомендуемого слишком активно, рано или поздно вы увидите надпись о том, что вы уже просмотрели достаточное количество подходящих персонально вам игр, и в дальнейшем вам будут показывать уже менее подходящие. За время эксперимента Джонсон увидел эту надпись девять раз.

По мнению разработчика такое сообщение, во-первых, раздражает игрока — ему как бы намекают, что он переутомил алгоритмы Steam своими запросами, — а во-вторых вводит его в заблуждение. Система показала Джонсону лишь вершину айсберга гигантской библиотеки Steam, — в основном популярные новые игры, — и вместо того, чтобы отправиться изучать её дальше в поисках идеально подходящих игроку старых и малопопулярных проектов, будто бы сдаётся. Алгоритм рекомендаций Steam явно не желает помогать ему в поиске «скрытых сокровищ».

Система релевантности («Может ли эта игра вам понравиться?») по большей части завязана на совпадающих тегах: в 72% случаев Steam строил предположения именно на основе этой информации. Теги играм в Steam выставляют как пользователи, так и сами разработчики — в результате возникает хаос и огромные объёмы «мусорных» данных, затрудняющих работу системы рекомендаций Steam. Согласно информации Джонсона, Valve работает над тем, чтобы снизить зависимость алгоритмов от тегов.

По личной оценке разработчика, предположения Steam, сделанные на основе тегов, редко оказывались полезными. Например, Джонсон не играет ни в RPG, ни в хорроры — но из-за того, что такие теги присутствуют в недавно пройденной им Bioshock, алгоритм может сделать неверные выводы о его предпочтениях.

Ещё одно популярное объяснение: эта игра похожа на другие игры, в которые вы играли. Такое объяснение релевантности появлялось в 18,6% случаев.

Изучая статистику, разработчик заметил странные тенденции: игра Out There Somewhere использовалась в качестве ориентира в 43 случаях — почти в два раза чаще, чем её ближайший конкурент, — несмотря на то, что Джонсон провёл в ней меньше двадцати минут. Steam почему-то решил, что эта игра для него очень важна, а Into the Breach (46 часов, 11 случаев) и Overcooked (11 часов, 3 случая) — нет.

Алгоритм, судя по всему, не учитывает проведённое в игре время, и изучает только те игры, которые пользователь запускал за последний год. Таким образом, информации о том, что Джонсон провёл сотни часов в FTL: Faster than Light несколько лет назад, для системы рекомендаций не существует — а ведь она явно могла бы оказаться полезной.

Остальные игры были отмечены алгоритмом как «релевантные» благодаря популярности (68 игр), статусу лидера продаж (15 игр), и рекомендациям кураторов (89 игр) и друзей (6 игр). 475 игр были отмечены благодаря положительным отзывам, а одна — NBA2K19, — была отмечена как «не релевантная» из-за отрицательных.

По мнению Джонсона, объективно оценить то, насколько хорошо работает система рекомендаций, невозможно — ведь нет возможности узнать, какие игры сервис мог бы порекомендовать игроку, но не стал. Однако некоторые выводы эксперимент всё же позволяет сделать.

Джонсон отмечает два показательных момента: во-первых, Steam по какой-то причине продолжает рекомендовать ему игры «для взрослых» в аниме-стилистике (59 игр из 672), хотя он ни разу не проявлял интереса к такого рода контенту. Steam даёт возможность забанить теги «аниме» и «нагота» — но если сделать это, из рекомендуемых пропадут, например, VA-11 Hall-A и This is the Police.

Также разработчик обратил внимание на составленный Steam «список тегов, которые чаще всего присутствуют в играх, которые вы добавляете в игнорируемые» — магазин предлагает исключить эти теги из выдачи в настройках. Список тегов выглядит так: инди, экшен, приключения, одиночная, мультиплеер, RPG, отличный саундтрек, казуальная, стратегия, атмосферная, глубокий сюжет, хоррор, выживание, симулятор, от первого лица, открытый мир, 2D, аниме, шутер. Примерно те же самые теги присутствовали и в играх, которые алгоритм посчитал наиболее релевантными для Джонсона.

Сильнее всего разработчика удивило то, что Valve не использует алгоритм, успешно внедрённый Netflix и Spotify, который отслеживает предпочтения большого числа пользователей. Например, если большое число игроков, игравших в Portal играют в Portal 2, имеет смысл начать рекомендовать Portal 2 игрокам Portal — но алгоритмы Steam не способны делать подобные выводы.

В финале материала разработчик отмечает, что любая компания оценивает эффективность своего алгоритма рекомендаций в зависимости от цели, с которой она его внедряла. Этой целью может быть максимальная прибыль, а может — максимальное удовлетворения пользователя. Какую цель преследует Valve мы не знаем, а следовательно — не можем оценивать эффективность её действий и давать советы.

Тем не менее, на основании своих наблюдений Джонсон сделал вывод о том, что алгоритм побора рекомендаций от Valve не слишком эффективен в том, что касается поиска наиболее подходящих пользователю игр среди огромного каталога Steam.

#valve #steam