Мысли гейм-дизайнера: Создание игр это не наука

Людишки любят накидывать на абсолютно ненаучные вещи какие-то отдельные признаки науки

Тем самым поднимая вес этой вещи. Как будто из-за этого она становится научной

Это происходит как в абсолютно мракобесных вещах, по типу гомеопатии или астрологии, так и в более близких к реальности, по типу фондового рынка (любители тех анализа, вы тоже мракобесы, но это отдельная тема)

Вводная часть про науку

Чтобы метод или область исследования считались научными, они должны удовлетворять ключевым критериям: проверяемость, фальсифицируемость, объективность, систематичность, воспроизводимость и т.д.

Наука стремится подтверждать теории не только теоретически, но и экспериментально, достигая максимально возможной точности. Например, погрешность современных измерений скорости света составляет всего ±0,0000004%.

Мы не можем установить абсолютно точные значения фундаментальных констант (таких как скорость света), потому что законы природы накладывают ограничения на точность измерений. Однако чем меньше погрешность, тем выше уверенность в том, что наблюдаемый эффект — не статистическая флуктуация, а отражение объективной реальности.

Уровень достоверности 5σ (пять сигма) в статистическом анализе означает, что вероятность случайного возникновения наблюдаемого эффекта составляет менее 0.00006% (или 1 шанс из 3.5 миллионов).

Этот стандарт принят в экспериментальной физике (например, в открытии бозона Хиггса) и других науках как достаточное доказательство того, что обнаруженный эффект:

Берем мышь, изменяем какой-то ген и у мыши перестают расти волосы

Мы можем провести этот эксперимент хоть с миллиардом мышей, результат всегда будет один - отсутствие роста волос (пример условный, понятно что будут случайные мутации, ошибки в проведении эксперимента и т.д.)

Главная мысль из написанного выше - при одинаковых вводных условиях мы всегда будем получать один и тот же результат (конечно с поправкой на погрешность)

Есть множество показателей которые отслеживают разработчики - LTV, Retention, ARPU, ARPPU, DAU, MAU и т. д. Все они показывают текущий результат и позволяют оценить динамику до текущего результата, на основе прошлых данных.

Сегодня DAU 100, завтра 200. Видим рост DAU у игры

Отсюда вытекает первое расхождение с наукой - нет четких критериев фундаментальных параметров

В науке - на примере скорости:
У нас есть точное определение скорости:
v = Δs/Δt (изменение положения за время)

Есть точные единицы измерения:
Метр определяется через скорость света (1/299 792 458 секунды).
Секунда определяется через частоту излучения атома цезия-133.

Да, есть не из чего не выводимые понятия, которые приняты как фундаментальные и на основе их уже делаются следующие выводы - 0, 1, сложение и деление и так далее. Но так далеко мы углубляться не будем :)

В создании игр - на легком примере с DAU (Daily Active Users, «ежедневные активные пользователи»)

Нет точного определения - кто-то считает любой вход игрока в игру и помечает его как “активного”, кому-то нужны более сложные действия - зайти в бой, выполнить задание и т.д.

Нет точности в получении данных - игрок случайно кликнул на иконку игры на телефоне и тут же закрыл, но разработчик уже пометил его как “активного”

Более показательно это будет на примере подсчета регистраций в игре - боты, случайные клики могут существенно влиять на статистику

В создании игр - на сложно примере “Прохождение туториала” (обучение)

Нет точного определения - что считать туториалом, где он должен начинаться и заканчиваться, что в нем должно быть, а чего не должно быть и т.д. очень размытое понятие

Например для меня туториал это в первую очередь способ зацепить игрока, чтобы он зашел завтра, после завтра и т.д. И желательно, чтобы еще на этапе туториала заплатил.
Да, многим это не понравится, но реальность такова, что заплативший в первый день с вероятностью 90% вернется на следующий день и у него выше шанс на вторую и последующие покупки, а человек который не заплатил в первый день, с меньшей вероятностью вернется в игру на следующий день

Нет точности в получении данных - у одной игры 2 минутный туториал и его проходят 50% игроков, у другой игры туториал длится 1 час и его проходят 5% игроков. При этом у этих туториалов могут быть разные уровни сложности обучения, разная подача, визуал и т.д.

Измерили туториал, получили цифры в N%, но мы никак не можем понять насколько полученные цифры хороши для нашего типа игры. Нет эталонного референса, с которым можно сравнить

Да, есть похожие игры и можно сравнивать их между собой. Но у таких игр разный уровень всего (графика, механики, звук, сценарий и т.д.) и это все равно не дает ответа, где эталон для конкретного жанра

Очевидный вывод тут только один - чем выше процент, тем лучше. Потому-что потолок это 100%.

Но у каждой игры есть свой потолок, который как раз зависит всех аспектов конкретной игры

Пример из реальности - Шахматы

Какой потолок у шахмат? Можно создать туториал, который будут проходить 25%? А 50% реальная цифра? А 75%? Может для шахмат возможно создать туториал, который пройдут 100%? (понятно, что предел в 100% на больших числах достичь невозможно, это всегда будет 99,99..9%)

Допустим
- Мы дали определение туториалу для шахмат (другие игры пока не рассматриваем) - игрок впервые запустил неизвестную ему игру (шахматы), прошел обучение (где ему объяснили как работают механики в игре (как ходят фигуры, порядок хода, время, особые правила по типу рокировки)) и запустил первую партию с другим игроком или ботом и довел ее до конца (победа/поражение не важно)

- Мы получили результат - такой туториал прошло 50% игроков

Из каких цифр получилось 50%?

В науке можно делать предсказания. Некоторые открытия были сделаны “на кончике пера” и только потом доказаны практически

В играх невозможно сделать предсказание “на кончике пера” - исходя из начальных цифр, у этой игры будут такие цифры туториала

В играх невозможно сделать обратное предсказание - исходя из конечной цифры, можно предположить исходные цифры

В играх невозможно измерить влияние каждого отдельного элемента - изменил 5 шаг из 20 в туториале, какая будет итоговая цифра? Неизвестно

Грубо говоря, такая ситуация со всеми параметрами которыми оперируют разработчики игр

Добавьте сюда сильнейший фактор среды - в Индии шахматы более популярны чем в ЮАР, а значит у игры с пошаговой механикой будет выше показатели в Индии, чем в ЮАР (пример условный)

Или более сложный пример - когда появилась первая донатная акция в игре, какой у нее был результат? А вторая и третья? А какой результат у 10 акций сейчас? Нет ли тут чего-то похожего на баннерную слепоту, только с акциями? (акции со временем перестают работать). А игра без акций при прочих равных обречена на провал, потому-что в других похожих играх акции есть и игроки будут платить там или это влияние не такое большое?

То-есть сейчас существуют тысячи факторов, которые непонятно как измерить и оценить, которые еще с течением времени изменяются

Добавьте сюда оперирование различными ненаучными терминами, при разработке игр - лучше/хуже, баланс/не баланс, токсично/не токсично, комфорт/не комфорт, позитивные эмоции/негативные эмоции и т.д.

Все эти термины невозможно объективно пощупать или измерить

То, что научная сторона разработки игр находится сейчас в таком состоянии, в первую очередь объясняется сложностью ее изучение. Человечество не будет вкладывать 20 миллиардов $ как при создании большого адронного коллайдера, но не для того чтобы узнать массу бозона Хиггса, а для того, чтобы понять фундаментальные цифры туториала для шахмат или как увеличить ретеншен

Отсутствие институтов, которые научным методом изучают разработку игры. Да, есть школы по обучению разработке игр, но все это на уровне “научных” размышлений 17-18 века и теории о самозарождении. Напомню, тогда считалось, что например крысы появляются просто в грязном белье

Как и писал вначале - все, что способны оценивать разработчики, это динамику изменений. Но какие конкретно факторы повлияли на динамику обычно очень тяжело отследить (в сложных проектах, с большим количеством механик и частыми изменениями)

Пример №1 Скидка

Ввелась новая механика, которая давала игроку скидки на прокачки за активность в игре

После ввода этой механики все показатели выросли - люди стали больше играть и больше платить

Прошло какое-то время, выходили другие крупные обновления, но доходы начали падать

Пытались разобраться, начиная с последних обновлений, что-то может не правильно сделали. Нам повезло, мы догадались что скорее всего причина в том патче, который сделали год назад.

Изменили эту механику и доходы снова начали расти

То-есть механика на старте дает плюс, через какое-то время выходит на свой пик и еще спустя какое-то время начинает падать ниже изначального уровня, на котором была игра до ввода этой механики

Пример №2 Туториал

Сделали новый туториал. Включили А/Б тест - четные регистрации проходят старый туториал, нечетные новый

Тестировали на больших числах, тысячи и десятки тысяч регистраций

Первый А/Б тест показал, что новый туториал лучше
Ничего не меняем, через неделю включаем еще раз этот А/Б тест
Второй А/Б тест показал, что старый туториал лучше

Как это возможно? Мы не остановились на этом

Запустили этот тест еще два раза
Итог - 2 раза новый туториал был лучше и 2 раза старый туториал был лучше

Цифра по расхождению были не на уровне 1-2%, а на 10%

Код несколько раз перепроверили, ошибки не нашли
Выборка большая, десятки тысяч новых регистраций

Пример №3 % ретеншена

Текущий ретеншен D1 10% (условные цифры)

В прошлом месяце он был 8%
Какой будет в следующем месяце? Я без понятия. Это всегда близко к рандому

Ок, допустим месяц это большой срок и там сильно повлиял фактор среды - месяц назад было тепло и большинство игроков меньше времени уделяло игре, а с наступлением холодов чаще стали оставаться дома и играть. Но он разный каждый день

Выборка большая - сегодня пришло 10к человек и ретеншен 5%, завтра пришло 10к человек и ретеншен 10%. На одной площадке

Мы в темных временах науки о играх

Да, пример про уровень текущих школ по обучению разработке игр грубоват. Это не значит, что все что там рассказывают - ошибочно.

Вам скажут - хотите увеличить ретеншен, сделайте долгосрочные цели (например задание). Проблема только в том, что нет научного объяснения, почему это сработает и что есть лучше именно для вашей игры

Все что остается разработчикам на текущий момент - логические выводы, обсуждение и поиск этих логических выводов и проверка через собственные эмоций (нравится, не нравится).
И отслеживание динамики. Только в динамике разработчик может объективно понять, игра становится лучше или хуже. Например как на графике ниже

Видно, что если ничего не делать, онлайн продолжит падать (до какого момента, зависит от соотношения времени жизни игрока на прирост новых игроков)
Далее видно, что разработчики что-то сделали и динамика изменилась
Что точно повлияло и почему - врятли возможно понять
Если вы сделаете такое же в другой игре, получите такой же эффект? Не известно