Нейрокомпьютерные интерфейсы для игр: что известно на сегодняшний день

Недавно сооснователь Valve Гейб Ньюэлл (Gabe Newell) заявил, что человечество уже намного ближе к “Матрице”, чем может показаться. Разбираемся, так ли это, и зачем Valve, Facebook и Илон Маск пытаются подключить мозг к компьютеру.

Нейрокомпьютерный интерфейс (НКИ) или интерфейс «мозг-компьютер» (Brain-computer interface, BCI) – система, созданная для обмена информацией напрямую между мозгом и компьютером. Концепция была описана Джозефом Ликлайдером еще в 1960 году в статье со звучным названием «Симбиоз человека и компьютера» (Man-Computer Symbiosis). Сейчас публикация представляет скорее историческую ценность, а вот активные попытки вступить в такой симбиоз предпринимаются с конца 2000-х годов.

Пожалуй, тогда больше других проявила себя компания NeuroSky, вместе со Square Enix представившая на Tokyo Game Show 2008 игру-доказательство концепта Judecca. В 2009 году NeuroSky даже выпустила коммерческие НКИ-настольные игры, купить которые можно до сих пор, но считывают ли они мозговую активность или только эксплуатируют феномен иллюзии контроля – вопрос открытый. Продукты остальных компаний в основном так и не вышли за пределы конференций, а лидеры игровой индустрии или отмалчивались, или говорили, что не занимаются разработками НКИ.

Постепенно стало понятно, что революции не произойдет. Об НКИ подзабыли, но ровно до тех пор, пока знаменитый основатель Valve Гейб Ньюэлл (Gabe Newell) не заявил в вышедшем 18 марта 2020 года интервью, что в компании вовсю ведутся нейробиологические исследования, добавив, что мы намного ближе к «Матрице», чем многие думают. Почти одновременно вышел отчет, согласно которому рынок НКИ к 2027 году будет оцениваться в 2,96 млрд долларов.

Год назад сотрудник Valve, экспериментальный психолог доктор Майк Эмбиндер (Dr. Mike Ambinder), рассказал на Game Developers Conference 2019 о развитии и применениях НКИ. По сравнению с интервью Гейба, его выступление мало кто заметил, хотя он рассказал о планах компании намного больше.

В Valve пока не идут по пути «Матрицы», подключаясь к мозгу напрямую, а используют специальный «шлем» для электроэнцефалографии (ЭЭГ). У этого подхода есть недостатки — а именно шумы и низкая пропускная способность, но Майк считает, что возможности метода еще не исчерпаны. Уже сейчас он позволяет оценить:

И многие другие, более тонкие параметры. Активно развивающиеся алгоритмы машинного обучения постепенно дают извлечь из данных ЭЭГ все больше.

По словам Майка, сейчас НКИ в первую очередь позволяет получить от игрока новую обратную связь, способную улучшить качество игр. Майк считает, что технологии пройдут три стадии развития.

В ближайшей перспективе НКИ найдут применение в разработке игр и сделают эффективнее процесс тестирования. Сейчас обычный метод определения эмоций тестера – опрос. При этом провести его можно только после прохождения игрового уровня, когда какие-то впечатления уже подзабыты, сглажены или переосмыслены. Считывание реакций мозга на внутриигровой стимул в реальном времени гораздо объективнее и поможет лучше проектировать уровни, точнее попадая в запланированные эмоции.

Постепенно НКИ станут доступнее и выйдут за пределы студий. На втором этапе доступ к данным получит уже сама игра. Это, по мнению Майка, полностью изменит понятие адаптивного геймплея. Традиционные уровни сложности устареют – игровой мир будет подстраиваться под конкретного игрока, определяя, какие враги вызывают у него больше проблем, хочет ли он расслабиться после тяжелого рабочего дня или скучает в ожидании сложной битвы.

В конечном итоге персонажи игры получат возможность реагировать на настрой игрока и его эмоциональное состояние, принимая решения на основе этих параметров.

«Истинный НКИ» – замена стандартных, «физических» интерфейсов управления станет последним шагом. Это решит проблемы современных интерфейсов: большое время реакции, необходимость запоминать клавиши, невозможность нажать сразу множество клавиш. Но добавит новые: например, отсутствие тактильной обратной связи. Промахнувшись мимо клавиши «прыжок», понять, почему персонаж не подпрыгнул, не составляет труда. С отданной мысленно командой та же ситуация уже не так однозначна.

Конечный этап развития НКИ – создание той самой «Матрицы»: устройств вывода данных напрямую в мозг, минуя мониторы, VR-шлемы и аудиосистемы. По словам Гейба, теоретические исследования уже идут и приносят много сюрпризов: внешне «сложные» задачи – «подключение» к моторной коре – оказываются относительно простыми, в то время как другие – например, имитация ощущения холода – невероятно сложны.

Многое из того, что описал Майк, можно реализовать с помощью ЭЭГ. Но он допускает, что когда-нибудь импланты станут такой же обыденностью, как и LASIK – операция по лазерной коррекции зрения. Майк называет эту точку «LASIK-порог». Преодолеть его собирается Илон Маск, чья компания Neuralink уже представила имплант N1, пообещав начать клинические испытания уже в 2020 году.

По словам сотрудника Neuralink, профессора Калифорнийского университета в Сан-Франциско Филипа Сейбса (Philip Sabes), основная цель проекта – помощь парализованным людям. В том числе – вернув возможность заниматься спортом хотя бы виртуально, с помощью игр.

Сам Илон, как и всегда, формулирует цели еще смелее: он хочет создать “полномозговой НКИ”, обеспечив тот самый симбиоз человека с искусственным интеллектом. При этом бизнесмен признает, что даже для Neuralink это пока фантастика.

В ноябре 2019 года Facebook приобрел компанию CTRL-labs. Возможно, CTRL-labs привлекла внимание тем, что добраться до главной цели любого НКИ – мозга – они планируют совсем не через отверстия в черепе. И этот подход выглядит реалистичнее остальных.

Директор CTRL-labs Томас Реардон (Thomas Reardon) объясняет, что имплант от Neuralink хорош для парализованных пациентов, но у здорового человека уже есть готовый нейроинтерфейс – нервные окончания и соединенные с ними мышцы. Неинвазивные методы тут подходят идеально: генерируемая мышцами активность в разы сильнее сигнала от любой структуры мозга. Сложнейшие алгоритмы расшифровки ЭЭГ практически не требуются – основная работа уже проделана телом человека. Поэтому представленный в 2018 году CTRL-kit – это не «шлем», а браслет для электромиографии.

При этом CTRL-kit можно считать полноценным интерфейсом «мозг-компьютер», считывающим активность нейронов. Чтобы доказать это, к браслету подключили динозаврика из Google Chrome.

На первом этапе обучения игрок просто нажимает кнопку. После – имитирует нажатие с помощью мышц – сначала с трудом, затем – практически рефлекторно. И тут происходит самое интересное: мышцы исключаются из цепочки.

В какой-то момент ответ находится: сокращать мышцы вообще нет необходимости, достаточно подумать о движении – этого импульса хватит, чтобы CTRL-kit среагировал – динозаврик прыгнет.

По словам Томаса, интерфейс не просто работает – он помогает воссоздать цепочки, в которые объединены нейроны. Это делает ближе главную цель нейробиологии – расшифровку того, как работает мозг и создание НКИ без посредничества мышц и периферийных нейронов.

Научная фантастика поставила много связанных с НКИ этических вопросов, но пост-НКИ мир наверняка поставит еще больше.

Гейб уверен, что технологии найдут применение во всех отраслях индустрии развлечений, но скептически относится к прогнозам. По его словам, представить сейчас пост-НКИ мир – все равно что пытаться объяснить, что такое Интернет, человеку, который никогда о нем не слышал. «Круто, там можно искать рецепты!» – скажет такой человек, но предугадать появление, например, Uber он не сможет.

Тем не менее, все разработчики говорят о том, что НКИ станут логическим развитием технологий виртуальной реальности. Заставить игрока надеть «шлем» – непростая задача, но добавив к VR-хэдсету НКИ-электроды, можно кардинально изменить ощущения от игры и сделать устройство привлекательным.

Виртуальная реальность упоминается в выступлениях сотрудников всех компаний. А вот о чем никто не сказал, так это о том, сколько осталось ждать. Ни Майк Эмбиндер, ни Гейб Ньюэлл не назвали дату выхода Half-Life 3 на НКИ. Филип Сейбс и Илон Маск хоть и упоминают игры, но инвазивный имплант вряд ли сразу заменит геймпад. Конкретные сроки называет только Томас Реардон – и, учитывая реалистичный подход CTRL-labs, не верить ему оснований нет. По его словам, первые массовые НКИ не появятся на рынке до 2024 года.

Для тех, кому не терпится опробовать НКИ, мы подобрали список ссылок с теорией, а также с уже продающимися или готовящимися к выходу устройствами и приложениями.

История и будущее BCI:

https://www.zdnet.com/article/what-is-bci-everything-you-need-to-know-about-brain-computer-interfaces-and-the-future-of-mind-reading-computers/ – ответы на основные вопросы об НКИ.

https://towardsdatascience.com/a-beginners-guide-to-brain-computer-interface-and-convolutional-neural-networks-9f35bd4af948 – «руководство для новичков» по НКИ, содержащее определения, краткую историю направления и принципы работы.

https://www.mddionline.com/history-and-future-bci – Основные события истории НКИ на схеме.

https://www.roadtovr.com/future-brain-computer-interface-ar-vr/ – немного о нынешнем состоянии технологий и будущих применениях НКИ.

Что уже создано:

https://openbci.com/ – крупное сообщество НКИ-энтузиастов, выпускающих open-source хэдсеты и софт. Интересно богатым ассортиментом комплектующих и открытого кода для тех, кто хочет попробовать себя в разработке.

https://store.neurosky.com/ – Neurosky, авторы упомянутых в статье MindFlex и StarWars Force Trainer, предлагают большой выбор готового софта, который, судя по отзывам, действительно работает.

https://www.emotiv.com/ – Наряду с Neurosky, одна из старейших компаний, создающих доступные ЭЭГ-хэдсеты. Разработанный на данный момент софт скорее заточен под «улучшение состояния и производительности» и тренировки концентрации. Есть красивый визуализатор мозговой активности в реальном времени.

https://www.brainco.tech/ – Гарвардский стартап BrainCo, чьи хэдсеты заточены под развитие способности фокусироваться. Чтобы достичь цели было проще, процесс основан на простых играх.

https://www.next-mind.com/ - Стартап NextMind, интересный в первую очередь тем, что их готовящийся к выпуску девкит – наиболее компактное и мобильное ЭЭГ-устройство. Также разработчики обещают совместимость с играми.

Автор: Артемий Третьяков специально для Smirnov School, онлайн-школы, где готовят концепт-художников, левел-артистов и 3D-моделеров для игр и анимации. Связаться нами можно в ВК, ФБ и на сайте. Отзывы студентов можно изучить тут (мы их не редактируем).

Открыт набор на курс “Референсы и драфты” к Александру Труфанову. Курс для тех, кто любит и умеет рисовать персонажей, и хочет плотно заняться дизайном. Скажите, что пришли с DTF и мы с радостью предоставим вам приятную скидку.