Как технология отслеживания взгляда может изменить видеоигры

Автор сайта Game Informer Блейк Хестер написал статью, в которой рассказал о потенциальном будущем технологии отслеживания взгляда. Взгляд — привычный для человека способ взаимодействия с реальностью, и, по мнению автора, отслеживание взгляда — перспективная область развития для устройств виртуальной реальности.

DTF публикует перевод статьи.

Зрительный контакт — самый простой способ взаимодействия с другими людьми. Обычно с него начинается разговор. Мы смотрим человеку в глаза и только потом приветствуем его. Смотрим в глаза — а затем открываем рот. То же самое происходит в играх. Сначала человек смотрит на главное меню, а потом запускает игру. Но пока что наш разговор получается односторонним. Никто, в сущности, не смотрит на нас с экрана в ответ.

Но если верить людям, пристально следящим за развитием технологий, скоро всё может измениться. Компании начинают экспериментировать с технологиями, которые позволят играм отслеживать направления взгляда и его движение. И тогда разработчики получат новый способ взаимодействовать с игроком.

Отслеживание взгляда также может изменить виртуальную реальность. В последнее время VR у всех на слуху, но на пути к мейнстриму ей нужно преодолеть несколько серьёзных препятствий. Устройства дорогие и громоздкие. Разработчики до сих пор не определились с устройствами ввода: кто-то предпочитает традиционные контроллеры, а кто-то выбрал устройства считывания движений. А вот отслеживание взгляда легко может стать стандартом для виртуальной реальности.

Есть определённая вероятность, что в будущем мы будем играть иначе, сможем смотреть в глаза персонажам на экране, а VR станет дешевле.

Изучение человеческих глаз во всех подробностях началось в 1879 году, когда французский офтальмолог Луи Эмиль Жаваль заметил, что взгляд читающего человека перемещается не плавно, а короткими рывками. В 1970 году исследования перешли на новый уровень, особенно те, что касались чтения.

Спустя годы исследователи стали наблюдать за глазами человека, смотрящего в монитор. Как он находит кнопки, куда смотрит в меню и так далее. Веб-интерфейсы изменились, когда разработчики узнали, куда в первую очередь направлен взгляд пользователя сайта. Последние продвинутые исследования прояснили, куда смотрит человек, когда по телевизору показывают сериалы и рекламу, а куда — сидя за компьютером. Коммерчески исследования себя полностью оправдывают, и вскоре мы сможем увидеть их применение в игровой индустрии.

Профессор Университета Карнеги — Меллон, Джесси Шелл, один из авторов I Expect You To Die для VR, прямо заявляет: «Уже пять лет в индустрии не происходит ничего особенного или интересного. Уже давно никто не может придумать ничего нового, и вдруг на сцену выходит виртуальная реальность и приносит с собой удивительные невероятные ощущения». Прав он или нет, но в лице Шелла виртуальная реальность и технологии отслеживания взгляда получили верного сторонника.

«Сенсоры слежения за взглядом, можно сказать, прямо за углом. Скоро их установят в устройства виртуальной реальности, игровые консоли и телевизоры», — предполагает Шелл. С помощью сенсоров техника будет наблюдать за движениями глаз зрителя, и будет понимать, на что конкретно тот обращает внимание.

Sentry — одно из немногих отслеживающих взгляд устройств на рынке. Тонкая чёрно-красная планка крепится на монитор пользователя и с помощью инфракрасных датчиков сканирует его глаз 50 раз в секунду, отслеживая и регистрируя движения взгляда.

SteelSeries разработала это устройство не только для игроков, но и для зрителей. Если стример на Twitch использует Sentry, то зритель может узнать, куда смотрит игрок и в каких ситуациях, что позволит лучше понять его действия.

На GDC 2014 компания Sony продемонстрировала похожую технологию, но с тех пор о разработке ничего не слышно. Устройство Tobii EyeX от компании Tobii работает в таких играх, как Division, Farming Simulator и не так давно вышедшей Deus Ex: Mankind Divided. С помощью взгляда игрок может управлять камерой, прицеливаться, решать, за каким укрытием спрячется персонаж или куда он пойдёт. Благодаря этой технологии игрок контролирует происходящее на экране не только пальцами.

В 2014 году журналистам Game Informer удалось протестировать устройство слежения за взглядом от Tobii и SteelSeries. Мы поиграли в World of Warcraft, и, к нашему удивлению, использовать глаза для управления камерой или выбирать противника очень удобно.

Технология не вносит ничего радикального, но, тем не менее, создаёт новый способ взаимодействия человека и компьютера. Если всё сделано правильно, прицел в игре становится столь же точным, как взгляд. Однако до сих пор неизвестно, насколько хорошо слежение за взглядом покажет себя в играх вроде Counter-Strike: Global Offense, где очень важна точность, и любая миллисекунда задержки может стать проблемой. Некоторые разработчики уже начали выпускать приложения, чтобы сгладить недостатки технологии, например, Project IRIS.

«На каждой новой платформе поначалу появляются однопользовательские игры. Но затем, если платформа окажется успешной, кто-то обязательно попытается добавить в неё социальный аспект, что принесёт этому человек кучу денег. Всё начинается с появления социальных механик. А виртуальная реальность — потенциально самая социальная технология из всех существующих: я могу смотреть собеседнику в глаза, видеть его, жестикулировать», – говорит Шелл.

«Устройства наблюдают за движениями глаз и головы, и благодаря им мы можем понять, куда и в какой момент смотрит пользователь», — добавляет Марк Менто, директор американского подразделения Senso Motoric Instruments. SMI специализируется на исследовании технологий слежения за взглядом, и именно она работала с Sony над уже упомянутым прототипом.

Как и Шелл, Менто обращает особое внимание на социальный аспект технологии. «Зрительный контакт очень важен в общении между людьми: мы знаем, что на нас обратили внимание, можем понять, о чём думает человек, куда он смотрит. И у нас есть шанс обогатить виртуальную реальность похожими ощущениями», — рассказывает Менто, объясняя, что общение в сети страдает именно из-за отсутствия зрительного контакта.

«Устройство отслеживает движение глаз, и аватар пользователя в виртуальной реальности смотрит в определённую сторону. До полноценной реализации ещё далеко, но мы движемся в нужном направлении», – продолжает Менто.

С помощью технологии слежения за взглядом мы сможем погрузиться в мир видеоигр ещё глубже. Мы будем смотреть прямо в глаза NPC или даже в глаза другого игрока, живущего на другом континенте. Мы увидим выражение лица собеседника, поймем, куда обращен его взгляд, и наоборот. Разработчики уже давно пытаются «очеловечить» взаимодействие игрока и виртуального персонажа, и с новыми технологиями у них, возможно, получится сделать это общение более естественным.

Если игра научится смотреть в глаза человека и отвечать на его действия, преграда, разделяющая виртуальный мир и реальный, станет ещё тоньше. Вы больше не будете сторонним наблюдателем романтической сцены, вы станете её частью. Именно вы будете прыгать с одной крыши на другую, лихорадочно оглядываясь в поисках планки, за которую можно схватиться. Именно вы будете всматриваться в глаза человека, которого допрашиваете. Впервые игрок посмотрит прямо в глаза человеку или монстру, которого ему пришлось убить. Может быть, это заставит его о чём-то задуматься.

Эта технология может сделать игрока частью виртуального события, а не просто сторонним наблюдателем. Романтичные, увлекательные или даже жестокие моменты заставят нас намного сильнее задуматься о собственных действиях. Но какой толк от новой технологии, если её смогут позволить себе лишь немногие? Новые техники рендера, возможно, помогут решить проблему.

В центре сетчатки глаза находится особая небольшая область — центральная ямка (лат. fovea centralis). Самое чёткое изображение даёт картинка, попадающая в эту область — все остальное глаз видит расплывчато. Посмотрите на последнюю букву этого слова. Эта буква — единственная вещь, которую вы видите достаточно чётко. Особая технология рендеринга, работающая с помощью камер отслеживания взгляда, действует по схожему принципу.

«Фокус в том, что вы можете направить всю мощь графического процессора в точку, куда направлен взгляд игрока. Если человек смотрит на какой-то конкретный предмет, то именно его игра отрисовывает подробно, а всё остальное оставляет расплывчатым, потому что периферическим зрением человек видит не так четко», — объясняет Менто.

Фовеальный рендеринг может принести пользу и разработчикам, и пользователям. Разработчики сэкономят ресурсы графической карты, используя их только для того, чтобы отобразить объекты в центре поля зрения. И игроки, купившие Oculus или HTC Vive, смогут использовать устройства на менее мощных компьютерах, потому что игры не будут обрабатывать все изображение на экране с одинаковой чёткостью.

«Новый способ рендеринга потенциально может оказать нам огромную услугу, особенно в условиях ограниченности ресурсов. По сути, фовеальный рендеринг снижает требования к видеокарте, так что вы сможете купить что-нибудь подешевле», — говорит Менто, обращая внимание на то, что виртуальная реальность — все же дорогое удовольствие.

Но фовеальный рендеринг полезен лишь тогда, когда устройства отслеживания взгляда работают достаточно точно. «Если я смогу понять, куда именно вы смотрите на экране в конкретный момент, то самоё четкое изображение я отрисую именно в этом месте. А когда вы посмотрите куда-то ещё, то уже там увидите красивую картинку. Я могу расслабиться, могу нарочно понизить качество большей части изображения, а вы этого даже не заметите», — рассказывает Менто.

Однако пока такой способ рендеринга не кажется логичным. Разработчики не смогут использовать его в играх, если производители устройств виртуальной реальности не встроят технологию отслеживания взгляда в свои устройства. Сначала все должны увидеть и осознать пользу нового вида рендеринга. Но, возможно, первый шаг уже сделан.

Не так давно Nvidia, в сотрудничестве с SMI, продемонстрировала возможности фовеального рендеринга, встроив в HTC Vive модуль отслеживания взгляда. Небольшой шажок навстречу будущему, в котором виртуальная реальность придёт в каждый дом.

Сейчас технологии слежения за взглядом находятся на ранних стадиях разработки. Даже если разработчики VR-устройств решат использовать технологию себе на пользу, всё равно придётся ждать выхода нового поколения. Но если это случится, создатели игр обязательно воспользуются возможностями фовеального рендеринга.

В общем, вместе виртуальная реальность и технология отслеживания взгляда потенциально позволят игрокам по-настоящему взаимодействовать с виртуальными персонажами. Мы будем смотреть им прямо в глаза, а не просто на их изображение.