Жив ли биофидбэк в играх?

Пока Valve изучают мозг, Sony патентуют робота-компаньона, реагирующего на эмоции игрока. Биофидбэк — будущее видеоигр? Где его уже используют?

Гейб Ньюэлл (Gabe Newell) рассказывал, что Valve уже работают над изучением мозга и нейроинтерфейсами. По мнению экспериментального психолога Valve Майка Эмбиндера (Mike Ambinder), мозг – не единственный орган, представляющий интерес для разработчиков игр. Пользуясь аналогией Майка, если разговор между людьми состоит из двух составляющих — вербальной (слов) и невербальной (жестов, выражения лица, позы, зрительного контакта и т.д.), то «разговор» человека с игрой пока ограничен «словами» – нажатиями на клавиши.

Попытки это исправить уже были: на E3 в 2009 году Nintendo представила сенсор Vitality, измеряющий пульс игрока. Это фактически вся известная о нем информация: использующие его игры так и не показали, а уже в 2013 году CEO компании Сатору Ивата (Satoru Iwata) объявил о закрытии проекта. Устройство работало правильно только с 90% игроков, что не устроило компанию. Кроме того, по-видимому, Nintendo не смогли придумать, как сделать из Vitality действительно полезным для геймеров.

С аналогичными проблемами, видимо, столкнулась Sony, которая уже испытывала датчик биофидбэка при разработке контроллера к PlayStation 4. Сейчас, в преддверии релиза PS5, аналогичные разработки вновь появились в патентах, но на прошедшей недавно презентации консоли и геймпада ничего похожего упомянуто не было.

Пока крупные компании не решаются на эксперименты, играми с биофидбэком занимаются независимые студии. Компания Flying Mollusk, выпустившая в 2015 году хоррор «Nevermind», построила значительную часть геймплея вокруг измерения уровня испуга игрока. По мнению креативного директора студии Эрин Рейнолдс (Erin Reynolds), нет никаких технических ограничений, мешающих использовать биофидбэк в играх уже сейчас.

Получить простой биофидбэк можно и без дополнительных устройств. Например, так:

Ну а если серьезно, частота и точность нажатий на клавиши, информация с датчиков ускорения – это тоже показатель состояния игрока.

Частота сердцебиения – один из самых простых способов определить возбуждение игрока, вызванное сильными эмоциями вроде страха. «Nevermind» началась с прототипа, который в 2012 году создали студенты Университета Южной Калифорнии в качестве выпускной работы, чтобы доказать: измеряя пульс, можно сделать геймплей интереснее.

Выглядит это так:

После защиты работа над проектом продолжилась, но запущенная в 2014 году на Kickstarter кампания не собрала нужную сумму. Однако она привлекла внимание Intel, работавших над новой технологией RealSense с плагином для Unity.

«Nevermind» стала первой игрой, использующей этот софт и самую необычную из его возможностей – измерение пульса с помощью вебкамеры, через микродвижения головы игрока. Правда, для этого нужна довольно дорогая камера с поддержкой RealSense, но в дополнение к ней Flying Mollusk сохранили существовавшую изначально поддержку классических датчиков пульса, список которых постоянно пополняется.

Игра получилась успешной. Она получала призы на многих конференциях, включая IndieCade, Games for Change, SIGGRAPH, Unity Unite Awards и Serious Games Showcase and Challenge, а в Steam собрала «в основном положительные» (75%) отзывы.

Напомним: Intel RealSense умеет распознавать лица, определять наклон головы, сканировать предметы в 3D, отслеживать жесты и многое другое. А вот с распознаванием эмоций у нее пока не сложилось: опция была добавлена в один из релизов, но разработавшую алгоритм компанию купила Apple и ее убрали.

Изначально дело ограничивалось пульсом, но в 2016 году вышел плагин Emotion AI для Unity и «Nevermind» научили распознавать выражение лица. Разработчик алгоритма — возникшая на базе лаборатории медиа Массачусетского Технологического Института компания Affectiva. Их целью стало желание устранить главный, по их мнению, изъян современного ИИ: неспособность понять эмоции людей.

По словам Габи, люди гораздо экспрессивнее, чем кажется, а микродвижения мышц могут рассказать об эмоциях даже самого невозмутимого человека. Главное – обучить алгоритмы на больших выборках, для чего Affectiva собрали данные уже около 8 миллионов добровольцев из 87 стран.

Психолог Пол Экман выделяет 6 базовых эмоций, присущих всем людям. Разработчики признаются, что им проще всего работать с яркими эмоциями вроде радости и гнева, а остальные могут вызывать трудности, как и нейтральное выражение лица. Пока определение валентности эмоции остается непростой задачей, в отличие от ее интенсивности. Сложнее всего со скрываемыми, ложными или смешанными эмоциями.

У компании еще много планов, в том числе распознавание эмоций в голосе, но разработки игр в них, к сожалению, нет. В отличие от Intel, выпустивших уже вторую версию своего Unity-плагина, Affectiva прекратила поддержку Unity и больше не дает прямого доступа к алгоритмам. Конкуренты вроде NeuroData Lab тоже явно не горят желанием сотрудничать с разработчиками, и может «Nevermind» еще надолго остаться единственной игрой, использующей такой биофидбэк.

Уже упомянутая Sony решила не разрабатывать сложные алгоритмы распознавания лиц, но и и пульс по каким-то причинам не устроил компанию. Их сенсоры измеряют электрическую активность кожи (ЭАК). Это один из основных биометрических показателей, использующихся в медицине, позволяющий по интенсивности потоотделения определить эмоциональное возбуждение. Точнее всего отследить эту связь можно по коже ладони – реакция на эмоции там намного сильнее, чем на температуру. Поэтому геймпад или мышь – идеальное место для датчика.

Нет гарантий, что сенсор наконец появится в геймпаде PS5. Но вышедшая в 2016 году геймерская мышь Mionix NAOS QG уже обладает этой функцией. Показания с датчиков даже можно вывести на экран, но на геймплей это пока никак не влияет: устройство есть в списке поддерживаемых «Nevermind», но только благодаря тому, что оно может измерять еще и пульс.

Эрин признает, что хоррор – самое очевидное применение биофидбэка. И самое удачное на данный момент, поскольку этот жанр строится вокруг одной эмоции и определение ее валентности не требуется. Адаптивные уровни сложности, кастомизация геймплея и умеющие распознавать ложь персонажи невозможны, если игра не сможет определить, возбужден игрок от радости или от злости. Помочь с этим могли бы нейроинтерфейсы, но у них пока много своих проблем.

Лучше всего с определением валентности эмоций справляются сами люди. Поэтому максимум информации от биофидбэка можно получить, сопоставляя его с поведением «живого» игрока, например, во время теста. По мнению UX-тестировщика и основателя компании Player Research Грэхама МакАллистера (Graham McAllister), подход решает сразу несколько проблем стандартного фидбэка в виде опросников:

Если попросить тестера нарисовать график впечатлений от игрового сеанса, то скорее всего на нем будет один пик. Людям свойственно запоминать начало сюжета, его конец и одно наиболее яркое событие. Биофидбэк способен помочь выделить дополнительные, менее сильные всплески эмоций, о которых забыл игрок.

Условия теста позволяют использовать любое количество датчиков и считывать дополнительные параметры биофидбэка, такие как напряжение мышц, поза, движения глаз – все то, что требует дорогого оборудования или пока недоступно для анализа с помощью алгоритмов. Пока это гораздо точнее и эффективнее, чем все устройства, которые можно встроить в геймпад, но скорее всего, рано или поздно биофидбэк выйдет за пределы лабораторий и окончательно войдет в геймплей.

Крупные компании вроде Ubisoft уже активно используют биофидбэк для тестирования игр. Судя по опубликованной компанией вакансии на должность Biometrics Specialist, студию особенно интересует айтрекинг, ЭАК, измерение пульса с помощью фотоплетизмограммы и, конечно же, мозговая активность.

Автор: Артемий Третьяков специально для Smirnov School, онлайн-школы, где готовят концепт-художников, левел-артистов и 3D-моделеров для игр и анимации. Для читателей DTF у нас есть специальные скидки.