Эксперимент по игре года

Всем привет! Известные издания подводят итоги года и выбирают лучшие игры. Лично меня всегда интересует, по какой методологии происходит выбор кандидатов и их оценка. Кто определяет из каких игр выбирать лучшую? По каким критериям ведется отбор? Решает ли один человек? Если группа, то как именно: по большинству голосов или попарным сравнением, или ещё как-то? Выбирают игроки или некие эксперты?

К сожалению, не всегда об этом нам рассказывают. А ведь от выбора того или иного способа оценки результаты могут быть противоположными. Победитель по одному способу может занять последнее место по другому.

Например, у The Game Awards кандидатов на игру года выбирает жюри, состоящее из около ста мировых СМИ. Каждое СМИ с помощью специального бюллетеня отбирает пять лучших по его мнению игр, не расставляя при этом приоритеты, и отправляет их TGA. На сайте подчеркивается, что решения в СМИ принимаются коллективно, а не являются мнением одного человека. Затем производится подсчет упоминаний каждой игры и отбираются те пять, которые чаще всего встречались в списках.

Пока читал, в голове возникли такие вопросы:

Если опрос проводился среди сотрудников всей организации с помощью специального бюллетеня, означает ли это, что в том же The Guardian опрашивали абсолютно всех? Или же это относится только к игровым редакциям таких СМИ? Сколько в них людей? Один, пять, двадцать?

Или как в той истории, где человек поставил игре 9.5 из 10, не пройдя её до конца.

Раз это крупные организации, то не все могло быть так, как хочется рядовому сотруднику. Существуют корпоративная политика, руководители, а может и пресловутый денежный вопрос и т. п. Непонятно, кто в итоге принимал решение и как это решение контролировалось внутри СМИ. Самого бюллетеня я тоже не нашел на сайте TGA.

Едем дальше. Победители определяются смешанным голосованием жюри (90 %) и публичным голосованием игроков (10 %). Непонятно, как именно суммируются результаты: по количеству голосов или в процентном отношении? Если СМИ около ста штук, то игроков могут быть десятки тысяч.

Так же хочу обратить внимание, кто является "игроком" по мнению TGA - это любой человек, кто зашел к ним на сайт и авторизовался через твиттер или фейсбук. Сайт никак не проверяет, играл ли человек в то, за что он голосует. Популярные площадки, как метакритик или стим, все больше используются как политические для отстаивания прав и свобод, где можно массово занижать оценки игре за шутку в фильме, как в недавнем примере с Monster Hunter World. Это вообще за гранью моего понимания людей. Поэтому я и переживаю за достоверность результатов, когда вижу, как именно устроена система голосований, или, что ещё хуже, не вижу.

Я считаю, что если человек не играл в игру, то у него нет оснований судить о произведении в полной мере. Он может судить о графике или сюжете, но не о том, как она играется. Так как любую информацию можно подать под разными углами, сформировав противоположные мнения, считаю, что человеку всегда нужно самому ознакомиться с первоисточником. В противном случае - отказаться от оценки.

Возвращаясь к методологиям оценки коллективного выбора, я хочу провести собственный эксперимент на сайте https://yourgame.space Оценки на нем можно ставить только тем играм, что есть у вас на аккаунте. Игры ограничены семейством PlayStation (PS3, PS4 и PS Vita). PS5 пока не успели подключить. При регистрации проверка проходит по вашему PSN-профилю. Подробнее тут.

Первый этап

В конце декабря-начале января на основе итоговых оценок по впечатлению будут отобраны лучшие пять игр, которые вышли в этом году.

Итоговая оценка впечатления, которая размещена на баннере игры, считается как среднее арифметическое от всех оценок этой игры. После этого рейтинг впечатления каждой игры будет дополнительно рассчитан по формуле Байеса:

(CхG+100х6.7)/C+100

Где:

C - количество голосов у игры.

G - оценка впечатления, которую игра уже имеет.

100 - количество голосов, с которыми будем сравнивать

6.7 - средняя оценка впечатления по всем играм, с которой будем сравнивать.

Эта дополнительная формула нужна, чтобы нивелировать различия в количестве проголосовавших за ту или иную игру. Проще говоря, чтобы на первом месте не оказалась игра с единственным голосом в 10 баллов. Эта же формула используется для ранжирования ТОП250 сайтов на imdb.com. Подробнее о том, как она работает, можно почитать тут.

Второй этап

В дело вступает экспертная комиссия. Всё, что нужно будет сделать каждому эксперту - это упорядочить пять игр от лучшей к худшей по своему усмотрению. В итоге получатся такие профили предпочтений:

Первый эксперт: b>a>d>c>e

Второй эксперт: a>b>e>c>d

и так далее.

Экспертами будут игроки из ТОПа рейтинга, известные и не очень известные игровые блогеры, до которых смогу достучаться и кого заинтересует участие. На каком именно месте по мнению игроков расположились пять игр-финалистов они знать не будут.

Третий этап

Присоединяется Мари Жан Антуан Николя де Карита, маркиз де Кондорсе - французский философ и математик. Точнее, не он сам, конечно, а его принцип голосования с учётом всех предпочтений, по которому будет определен победитель. Как именно ведется подсчет хорошо описано в учебном пособии "Голосования и коллективный выбор" под редакцией Р. Ф. Хабибуллина (Казань, Казанский государственный университет, 2009). В гугле выдает первой же ссылкой на .doc файл. В двух словах, исходя из профилей предпочтений экспертов, игры получат свои очки на основании того, сколько экспертов сочли игру a хуже или лучше игры b. А с хуже или лучше d и так далее.

На этом всё. В итоге мы получим:

На данный момент не существует идеальной системы оценки. Если вместо правила по Кондорсе использовать, например, правило по Борда, мы можем получить другие результаты. Если использовать только количество голосов по тому или иному произведению без указания порядка предпочтений - получим третьи результаты. Я выбрал Кондорсе, потому что считаю его метод более объективным, чем остальные, и хочу это проверить.

Если вам интересно, что из этого выйдет, то результаты опубликую в январе. Если вы хотите принять в этом участие в качестве игрока - переходите по ссылке на сайт, регистрируйтесь и ставьте оценки своим играм. Если вы хотите принять участие в качестве эксперта, напишите мне в личку.

Лично для себя хочу сравнить, сильно ли будут отличаться результаты между выбором "взрослых дядек" из СМИ и "школьников-студентов"? Являются ли такие топы в большей степени топами популярных игр, а не лучших? Ну и хочется увидеть результат по выбранной методологии оценки. Если у вас есть другие варианты, как можно определять что-то "лучшее", готов обсудить в комментариях.