Внутренняя кухня судейства DevGAMM Awards

Как устроена система голосования и можно ли повлиять на решение судей – ответы в лонгриде от создателей DevGAMM Awards.

Внутренняя кухня судейства DevGAMM Awards

15 апреля завершился прием игр на DevGAMM Awards, призовой фонд которого составляет $30,000! Да, реальные деньги без всяких обязательств перед издателями. Все это благодаря спонсорам – компаниям tinyBuild, Xsolla и Green Grey.

Всего на конкурс пришло 203 игры из 37 cтран! А судить проекты будут 103 эксперта игровой индустрии!

Но как же проходит этот процесс? Приподнимаем занавес в этой статье.

Подача игр

Прием игр на конкурс (и другие активности конференции DevGAMM) происходит через портал Games Hub.

По фильтру Awards вы можете увидеть, какие игры подали на конкурс. Они уже отправились на первый тур голосования.

Фильтры активностей и номинаций на портале Games Hub:

Внутренняя кухня судейства DevGAMM Awards

Используя фильтры Nominations, вы можете увидеть, сколько игр и каких подали на ту или иную номинацию.

Прием заявок обычно идет 1,5-2 месяца. Разработчикам нужно предоставить информацию об игре, трейлеры, видео геймплея и, конечно же, играбельный билд.

Расписание конкурса

После закрытия приема заявок начинается судейство, которое разделено на 3 тура. Каждый из них длится 1-2 недели.

  • Первый тур – предварительный отбор.
  • Второй тур – оценка проектов.
  • Третий тур – определение победителей.

В этом году анонс номинантов будет 5 мая, а онлайн-церемония награждения победителей – 14 мая, 18:00 (МСК).

Работа с судьями

На каждую конференцию мы приглашаем как тех, кто еще ни разу не судил Awards, так и уже бывавших у нас экспертов. Есть и те, кто судит больше 5 лет!

Изначально мы приглашали в судьи спикеров конференции, разработчиков и издателей, которых мы хорошо знали, и победителей прошлых конкурсов. Теперь же мы открываем форму заявок для всех, кто подходит под критерии.

Критерии для судей с сайта DevGAMM:

Внутренняя кухня судейства DevGAMM Awards

Мы проверяем каждую заявку вручную, а если не знаем человека, то просим подтвердить опыт работы в индустрии историей проектов или рекомендациями от коллег из геймдева.

Изначально мы не раскрывали список судей, чтобы избежать давления на них. Мы решили так сделать после того, как к некоторым из объявленных экспертов стали стучаться в личку разработчики и просить поставить оценку повыше.

Но когда число судей перевалило за 100, мы поняли, что найти контакты каждого и незаметно повлиять на финальный результат не так просто :) К тому же, за такое мы можем попросту дисквалифицировать.

Поэтому теперь можно быть публичным или анонимным судьей – по желанию. Мы стараемся не раскрывать список новых судей, если они не прошли с нами хотя бы один конкурс, но и здесь бывают исключения.

Некоторые из публичных судей DevGAMM. Остальных смотрите у нас на сайте.

Внутренняя кухня судейства DevGAMM Awards

Важно знать, что не все эксперты являются судьями во всех номинациях. Кто-то судит только одну номинацию (например, аудио или нарратив), кто-то – все, а остальные – несколько номинаций на выбор в зависимости от экспертизы.

Выглядит все это запутанно, а заниматься микроменеджментом всех запросов еще сложнее. В этом нам помогает автоматизированная система судейства. Вот так выглядит часть таблицы с экспертами и номинациями, в которых они судят.

Овервью выбора номинаций судьями:

Внутренняя кухня судейства DevGAMM Awards

Этот выбор отражается в их админке – если они не судят ту или иную номинацию, они не смогут выставить в ней оценку или номинировать игру.

Каждый судья получает доступ к судейской системе на Games Hub, где можно:

  • выставить оценки;
  • запросить ключи для Steam;
  • получить ссылки на непубличные билды;
  • посмотреть закрытые видео геймплея;
  • увидеть ответы разработчиков на вопросы про номинации;
  • почитать комментарии разработчиков и администраторов конкурса;
  • посмотреть сводную таблицу всех своих оценок.

Перед началом конкурса эксперты получают подробные инструкции о системе судейства, чтобы точно не запутаться и быть на одной волне.

Первый тур судейства

В первом туре идет предварительный отбор проектов по трехбалльной системе. Рассматривая каждую игру, судьи должны ответить на простой вопрос:

Может ли игра стать номинантом на любую из категорий Awards?

Или хотят ли они видеть ее во втором туре.

  • Если да – Yes (+1)
  • Если нет и игра выглядит более слабо по сравнению с конкурентами – No (-1)
  • Если судья не уверен в своем решении – Not sure (0).

Почти как Tinder 🙂

Внутренняя кухня судейства DevGAMM Awards

Страница со списком игр меняется динамически: наверху всегда будут проекты с минимальным количеством оценок. Так мы контролируем, чтобы за все игры проголосовало равное количество экспертов.

Важно: в первом туре судьи смотрят на общее представление игры, ее описание, видео геймплея. Скачивать билды и играть в каждую из игр не обязательно.

Это как в любом сторе: прежде чем купить игру, вы изучаете информацию о ней и решаете, достойна ли она вашего внимания. Так же и наши судьи определяют, какие из игр достойны более пристального внимания на следующем этапе.

Зато во втором туре скачивать билд и играть в игру – обязательное условие.

Именно поэтому игры, которые не попали во второй тур, часто имеют очень мало скачиваний или установок. А у игр, которые попали во второй тур, часто заканчиваются ключи :)

Лерика Маллаева

Второй тур судейства

Во второй тур попадают самые сильные проекты, обычно это 30-35% от общего числа заявок.

Мы не раскрываем список игр, попавших во второй тур, чтобы избежать давления на судей и организаторов. Если игра не прошла, значит у нее был гораздо более низкий рейтинг по результатам первого тура.

Вот так может выглядеть блок оценки проекта для судьи:

Внутренняя кухня судейства DevGAMM Awards

Судьи ставят общую оценку игре, а также отдельные оценки за арт, нарратив, аудио и геймдизайн.

Градация оценок:

10 - PERFECT!

9 - Excellent

8 - Very Good

7 - Good

6 - Ok

5 - Average

4 - Below Average

3 - Poor

2 - Bad

1 - Worst

Второй блок – номинирование игр. Если судья считает, что игра достойна быть номинантом в той или иной категории, он выдвигает ее.

Каждый судья должен номинировать хотя бы 3 игры, но можно и больше.

Когда мы выбираем номинантов для категорий Excellence in Art, Game Design, Audio и Narrative, мы смотрим не только на среднюю оценку по каждому критерию, но и на количество номинаций от судей, а также на корреляцию между этими двумя показателями.

А вот для категорий Grand Prize, Best Desktop, Mobile и Indie мы смотрим уже на общий рейтинг и количество номинаций от судей, а также снова на корреляцию между этими показателями.

В каждую из номинаций попадает 5 лучших игр.

Третий тур судейства

В третьем туре судьи выбирают победителя из 5 номинантов в каждой категории.

В этот раз судят только те эксперты, кто уже отсмотрел минимум 20 игр во втором туре. Если судья пропустил первых два этапа судейства, на третий тур он не допускается.

Никто из судей не знает победителей до объявления на церемонии награждения. Победившие игры знают только 4 человека из команды DevGAMM, которые занимаются координацией церемонии. И это чертовски приятно : )

Чтобы сохранить интригу до конца, для онлайн-церемонии мы просим записать «победное» видео абсолютно всех номинантов DevGAMM Awards.

Прошлая церемония награждения:

Фидбек

Разработчики часто говорят, что им хотелось бы получить фидбек от судей и именно ради него они подают игру на конкурс.

Для этого у каждого судьи есть специальное поле в системе оценок. Мы просим всех оставлять фидбек, но это рекомендация – судьи оставляют его по желанию. Мы тоже очень ценим, когда они это делают.

Поле для фидбека разработчику в судейской системе:

Внутренняя кухня судейства DevGAMM Awards

По нашему опыту, чаще всего оставляют фидбек тем играм, которые попали во второй тур. Это делают примерно 20-25% судей.

Фидбек автоматически прилетает в личный кабинет разработчика на портале Games Hub.

На что обращают внимание судьи

1. Видео геймплея и трейлера.

2. Описание и скриншоты игры.

3. Страница в Steam или любом другом сторе (если есть).

4. Если билд не запускается, крашится, его невозможно скачать и т.п. – многие судьи сразу ставят низкую оценку. Поэтому важно проверять свои билды внимательно!

5. Ответы на вопросы про арт, геймдизайн, аудио и нарратив при подаче игры на номинацию.

Заключение

Вы еще тут? Тогда надеемся, что нам удалось приоткрыть кухню судейства и рассказать, насколько это сложный и комплексный процесс – координировать 100+ человек и получить максимально объективные оценки для самых достойных игр.

Помните, что номинанты DevGAMM Awards всегда получают дополнительное внимание от прессы, их приглашают на интервью и показ игры на официальной онлайн-трансляции конференции.

А победителей ждут награды и денежные призы.

Внутренняя кухня судейства DevGAMM Awards

Если и после этого лонгрида у вас еще есть вопросы, мы сейчас быстренько перебинтуем пальцы и ответим на все в комментариях 😉

Команда DevGAMM

2929
16 комментариев

Я участвовал в судействе многих конкурсов и могу сказать, что описанная здесь система - это лучшее, что я видел. Автоматизировать такое количество игр, судей, раздачу билдов, несколько туров голосования, модерацию - это гораздо сложней, чем кажется. К тому же, для разработчиков это отличный шанс показать себя экспертам индустрии. Больше нигде нельзя напроситься на то, чтобы твою игру отсмотрело столько людей. Если игра имеет потенциал, то большой шанс уже на этом этапе получить внимание издателей.

9
Ответить

Именно - мощная и красивая штука

2
Ответить

❤️

Ответить

Отличная система и отличный ивент!
Спасибо Лерике за статью! 

2
Ответить

🥰

Ответить

Для обычного пользователя это совершенно непонятный текст ниочем. Или я один не понял что это такое и зачем оно надо?

Ответить

Да, ты один.

3
Ответить