Внутренняя кухня судейства DevGAMM Awards

Как устроена система голосования и можно ли повлиять на решение судей – ответы в лонгриде от создателей DevGAMM Awards.

15 апреля завершился прием игр на DevGAMM Awards, призовой фонд которого составляет $30,000! Да, реальные деньги без всяких обязательств перед издателями. Все это благодаря спонсорам – компаниям tinyBuild, Xsolla и Green Grey.

Всего на конкурс пришло 203 игры из 37 cтран! А судить проекты будут 103 эксперта игровой индустрии!

Но как же проходит этот процесс? Приподнимаем занавес в этой статье.

Прием игр на конкурс (и другие активности конференции DevGAMM) происходит через портал Games Hub.

По фильтру Awards вы можете увидеть, какие игры подали на конкурс. Они уже отправились на первый тур голосования.

Фильтры активностей и номинаций на портале Games Hub:

Используя фильтры Nominations, вы можете увидеть, сколько игр и каких подали на ту или иную номинацию.

Прием заявок обычно идет 1,5-2 месяца. Разработчикам нужно предоставить информацию об игре, трейлеры, видео геймплея и, конечно же, играбельный билд.

После закрытия приема заявок начинается судейство, которое разделено на 3 тура. Каждый из них длится 1-2 недели.

В этом году анонс номинантов будет 5 мая, а онлайн-церемония награждения победителей – 14 мая, 18:00 (МСК).

На каждую конференцию мы приглашаем как тех, кто еще ни разу не судил Awards, так и уже бывавших у нас экспертов. Есть и те, кто судит больше 5 лет!

Изначально мы приглашали в судьи спикеров конференции, разработчиков и издателей, которых мы хорошо знали, и победителей прошлых конкурсов. Теперь же мы открываем форму заявок для всех, кто подходит под критерии.

Критерии для судей с сайта DevGAMM:

Мы проверяем каждую заявку вручную, а если не знаем человека, то просим подтвердить опыт работы в индустрии историей проектов или рекомендациями от коллег из геймдева.

Изначально мы не раскрывали список судей, чтобы избежать давления на них. Мы решили так сделать после того, как к некоторым из объявленных экспертов стали стучаться в личку разработчики и просить поставить оценку повыше.

Но когда число судей перевалило за 100, мы поняли, что найти контакты каждого и незаметно повлиять на финальный результат не так просто :) К тому же, за такое мы можем попросту дисквалифицировать.

Поэтому теперь можно быть публичным или анонимным судьей – по желанию. Мы стараемся не раскрывать список новых судей, если они не прошли с нами хотя бы один конкурс, но и здесь бывают исключения.

Некоторые из публичных судей DevGAMM. Остальных смотрите у нас на сайте.

Важно знать, что не все эксперты являются судьями во всех номинациях. Кто-то судит только одну номинацию (например, аудио или нарратив), кто-то – все, а остальные – несколько номинаций на выбор в зависимости от экспертизы.

Выглядит все это запутанно, а заниматься микроменеджментом всех запросов еще сложнее. В этом нам помогает автоматизированная система судейства. Вот так выглядит часть таблицы с экспертами и номинациями, в которых они судят.

Овервью выбора номинаций судьями:

Этот выбор отражается в их админке – если они не судят ту или иную номинацию, они не смогут выставить в ней оценку или номинировать игру.

Каждый судья получает доступ к судейской системе на Games Hub, где можно:

Перед началом конкурса эксперты получают подробные инструкции о системе судейства, чтобы точно не запутаться и быть на одной волне.

В первом туре идет предварительный отбор проектов по трехбалльной системе. Рассматривая каждую игру, судьи должны ответить на простой вопрос:

Или хотят ли они видеть ее во втором туре.

Почти как Tinder 🙂

Страница со списком игр меняется динамически: наверху всегда будут проекты с минимальным количеством оценок. Так мы контролируем, чтобы за все игры проголосовало равное количество экспертов.

Важно: в первом туре судьи смотрят на общее представление игры, ее описание, видео геймплея. Скачивать билды и играть в каждую из игр не обязательно.

Это как в любом сторе: прежде чем купить игру, вы изучаете информацию о ней и решаете, достойна ли она вашего внимания. Так же и наши судьи определяют, какие из игр достойны более пристального внимания на следующем этапе.

Зато во втором туре скачивать билд и играть в игру – обязательное условие.

Во второй тур попадают самые сильные проекты, обычно это 30-35% от общего числа заявок.

Мы не раскрываем список игр, попавших во второй тур, чтобы избежать давления на судей и организаторов. Если игра не прошла, значит у нее был гораздо более низкий рейтинг по результатам первого тура.

Вот так может выглядеть блок оценки проекта для судьи:

Судьи ставят общую оценку игре, а также отдельные оценки за арт, нарратив, аудио и геймдизайн.

Градация оценок:

10 - PERFECT!

9 - Excellent

8 - Very Good

7 - Good

6 - Ok

5 - Average

4 - Below Average

3 - Poor

2 - Bad

1 - Worst

Второй блок – номинирование игр. Если судья считает, что игра достойна быть номинантом в той или иной категории, он выдвигает ее.

Каждый судья должен номинировать хотя бы 3 игры, но можно и больше.

Когда мы выбираем номинантов для категорий Excellence in Art, Game Design, Audio и Narrative, мы смотрим не только на среднюю оценку по каждому критерию, но и на количество номинаций от судей, а также на корреляцию между этими двумя показателями.

А вот для категорий Grand Prize, Best Desktop, Mobile и Indie мы смотрим уже на общий рейтинг и количество номинаций от судей, а также снова на корреляцию между этими показателями.

В каждую из номинаций попадает 5 лучших игр.

В третьем туре судьи выбирают победителя из 5 номинантов в каждой категории.

В этот раз судят только те эксперты, кто уже отсмотрел минимум 20 игр во втором туре. Если судья пропустил первых два этапа судейства, на третий тур он не допускается.

Никто из судей не знает победителей до объявления на церемонии награждения. Победившие игры знают только 4 человека из команды DevGAMM, которые занимаются координацией церемонии. И это чертовски приятно : )

Чтобы сохранить интригу до конца, для онлайн-церемонии мы просим записать «победное» видео абсолютно всех номинантов DevGAMM Awards.

Прошлая церемония награждения:

Разработчики часто говорят, что им хотелось бы получить фидбек от судей и именно ради него они подают игру на конкурс.

Для этого у каждого судьи есть специальное поле в системе оценок. Мы просим всех оставлять фидбек, но это рекомендация – судьи оставляют его по желанию. Мы тоже очень ценим, когда они это делают.

Поле для фидбека разработчику в судейской системе:

По нашему опыту, чаще всего оставляют фидбек тем играм, которые попали во второй тур. Это делают примерно 20-25% судей.

Фидбек автоматически прилетает в личный кабинет разработчика на портале Games Hub.

1. Видео геймплея и трейлера.

2. Описание и скриншоты игры.

3. Страница в Steam или любом другом сторе (если есть).

4. Если билд не запускается, крашится, его невозможно скачать и т.п. – многие судьи сразу ставят низкую оценку. Поэтому важно проверять свои билды внимательно!

5. Ответы на вопросы про арт, геймдизайн, аудио и нарратив при подаче игры на номинацию.

Вы еще тут? Тогда надеемся, что нам удалось приоткрыть кухню судейства и рассказать, насколько это сложный и комплексный процесс – координировать 100+ человек и получить максимально объективные оценки для самых достойных игр.

Помните, что номинанты DevGAMM Awards всегда получают дополнительное внимание от прессы, их приглашают на интервью и показ игры на официальной онлайн-трансляции конференции.

А победителей ждут награды и денежные призы.

Если и после этого лонгрида у вас еще есть вопросы, мы сейчас быстренько перебинтуем пальцы и ответим на все в комментариях 😉

Команда DevGAMM