Человеческое восприятие и VR

Важность восприятия для виртуальной реальности, виды и способы манипуляции.

Учёный и разработчик Эйке Лангбен (Eike Langbehn) выложил в своём блоге на портале Gamasutra текст, посвящённый человеческому восприятию и виртуальной реальности. Он рассказал о том, почему понимание механизмов работы восприятия важно для разработчиков VR-приложений, какие бывают виды восприятия и как им можно манипулировать.

Пятьдесят лет изучения виртуальной реальности привели к интересным открытиям, которые полезны также и для разработки игр. Восприятие — очень важный аспект VR, потому что оно связано с погружением, присутствием и укачиванием — основными понятиями в разработке VR-приложений. Более того, восприятие может отличаться от реальности, и им можно манипулировать.

Я расскажу о некоторых результатах исследований, полученных мной и другими учёными. Надеюсь, это позволит вам лучше понять принципы работы системы человеческого восприятия и её влияние на дизайн VR-игр.

Точнее, восприятие в VR важнее, чем в традиционных играх. При разработке традиционной игры нужно думать о многих вещах: увлекательность, производительность, стабильность, баланс и так далее. В случае виртуальной реальности к этому списку прибавляются погружение, присутствие и восприятие.

Погружение ограничено объективными возможностями технологии виртуальной реальности: техническими факторами вроде поля зрения, разрешения, качества графики и прочих. Так, стереоскопическая VR-cистема обладает более сильным эффектом погружения, чем моноскопическая. Система, отслеживающая положение пользователя вместе с направлением его головы, более иммерсивна, чем система, отслеживающая только направление головы.

Современные шлемы виртуальной реальности (как HTC Vive или Oculus Rift) по большей части стереоскопические, они обладают датчиками направления головы и положения в пространстве, а также высоким разрешением картинки, низкой задержкой, высокой частотой и широким полем зрения (около 110 градусов).

Они создают мощный эффект погружения, но недостаточно сильный для человеческого восприятия. Поле зрения человека — примерно 220 градусов, а его глазам потребовалось бы разрешение в 116 миллионов пикселей, когда как Rift и Vive отображают всего около двух с половиной миллионов.

Ощущение присутствия — это субъективное ощущение нахождения в определённом месте, которое можно описать такими предложениями:

Погружение (объективное) и присутствие (субъективное) связаны с восприятием. Что же такое восприятие? Можно объяснить этот термин с помощью основной механики игрового движка. Каждый кадр движок выполняет три действия: обработка ввода, вычисление и обновление состояния игры, вывод/рендеринг состояния игры.

Человеческий мозг работает похожим образом. Каждую единицу времени мы воспринимаем мир вокруг, обрабатываем информацию и совершаем действия. Таким образом, восприятие — это человеческий эквивалент обработки ввода.

Более того, во время игры стадии работы движка и человеческого мозга связаны. Игрок принимает вывод игры, обрабатывает полученную информацию и совершает действие, то есть, нажимает кнопку на геймпаде, создавая данные ввода для приложения.

Так как мозг человека — сложная система, восприятие основано на многих сенсорных каналах. Человек может видеть, обонять, слышать, ощущать вкус и тактильно воспринимать вывод игры.

Традиционные игры используют только два канала: визуальный и звуковой. VR-игры обладают не только более иммерсивной визуальной составляющей, но также предлагают вестибулярную (ощущение ускорения) и проприоцептивную (ощущение положения тела) информацию благодаря считыванию расположения пользователя и направления его головы.

То есть, иммерсивные возможности виртуальной реальности напрямую связаны с сенсорными каналами человеческого восприятия. А сенсорные каналы влияют на ощущение присутствия: оно усиливается, когда задействованы вестибулярное и проприоцептивное чувства.

В 1965 году один из первопроходцев в сфере трёхмерной компьютерной графики Иван Сазерленд (Ivan Sutherland) написал эссе, в котором описал идею виртуальной реальности. Он назвал её «высшей степенью отображения» и пояснил, что такое отображение «должно задействовать наибольшее количество чувств». Это должна быть система, передающая запах, вкус, изображение, звук и кинестетику.

Таким образом, первое определение виртуальной реальности уже указывало на важность восприятия.

Но это не единственная причина её важности. Ещё одна — что рассинхронизация информации из разных каналов ведёт к тошноте. Тошнота появляется из-за множества факторов, но чаще всего она возникает, когда движение изображения не подтверждается вестибулярным и проприоцептивным чувствами. VR-разработчики должны избегать подобного.

Восприятие виртуального мира отличается от восприятия реальности. Даже если виртуальное пространство полностью копирует реальное. Это заметно, например, по тому, как человек ориентируется в пространстве.

Ориентация в пространстве включает в себя понимание размеров объектов, дистанций до них, скоростей движения и так далее. Многие исследователи VR находили большие отличия в восприятии дистанций и даже скоростей в виртуальном мире по сравнению с реальным. Мы не знаем точных причин этого, но два объяснения кажутся самыми логичными.

Во-первых, качество изображения шлемов виртуальной реальности слишком низко для системы восприятия человека. Так что ориентация в пространстве улучшится, когда увеличится разрешение изображения.

Во-вторых, есть много способов, которыми мы пользуемся, чтобы определить расстояние до объекта или его размер: тени, отражения, параллакс движения. Ещё два способа — это аккомодация (accomodation) и конвергенция (convergence).

Конвергенция — это умение глаз двигаться внутрь по направлению друг к другу для фиксации на определённом объекте. Оно помогает нам определить расстояние через триангуляцию. Аккомодация — это умение глаз фокусироваться на объекте. Оно тоже влияет на определение расстояния.

В реальном мире оба этих способа чаще всего дают одинаковые результаты. В VR расстояние, которое они определяют, почти никогда не совпадает. Конвергенция работает так же, как в реальном мире, но аккомодация всегда фиксирована на экране шлема.

Это приводит к разнице в определяемом расстоянии, называемой конфликтом аккомодации и конвергенции. Неизвестно точно, насколько сильно он влияет на пространственное восприятие, но это весьма вероятная причина.

Ориентация в пространстве также включает в себя умение выстраивать ментальную карту виртуального мира. Результаты исследований позволяют предположить, что ориентация в пространстве улучшается, когда человек изучает мир, лично гуляя по нему. Управление с геймпада и телепортация негативно влияют на ориентацию в пространстве.

Восприятием виртуального мира можно манипулировать. Распространённый пример, возможный даже в реальности, — иллюзия резиновой руки. Это психофизический эксперимент, в котором руку участника скрывают, а вместо неё кладут резиновую руку.

Сначала по обеим рукам одновременно водят кисточкой, делая одинаковые движения. Спустя некоторое время по резиновой руке ударяют молотком. Участник, привыкший к осознанию, что резиновая рука принадлежит ему, пугается.

Студенты нашей исследовательской группы расширили этот эксперимент в VR. Он показал, что эта иллюзия работает и в виртуальной реальности, даже когда виртуальная рука выглядит необычно. Участники эксперимента вырабатывали ощущение владения рукой, несмотря на то, что она была длиннее человеческой.

Это показывает, что визуальный канал часто доминирует над остальными (например, проприоцептивным). В первой части материала я указал, что различия в информации, получаемой органами чувств, ведёт к тошноте. Но иногда, если различия небольшие, они игнорируются пользователем.

Redirected Walking использует эту особенность, разворачивая камеру, когда пользователь ходит. Пользователь неосознанно компенсирует изменения, поворачивая в противоположном направлении. Получается, что он делает дугу, когда как в виртуальном мире он идёт прямо.

Было выяснено, что пользователь не замечает этих изменений, когда ходит по кругу радиусом в 22 метра. Этот результат может различаться в зависимости от личных особенностей, скорости ходьбы, типа виртуального окружения и так далее. Изменение направления может быть ещё больше, когда пользователь в виртуальном мире идёт по кривой, которая в реальном мире имеет ещё меньший радиус.

Также было обнаружено, что ощущениями перемещения и вращения тоже можно манипулировать. К перемещению в реальном мире можно «привязать» виртуальное, даже если оно на 26% меньше или на 14% больше. Вращение в реальности может быть на 49% больше или 20% меньше. Концепция перенаправленного хождения может быть применена к Redirected Touch.

Ещё один пример манипуляции восприятия — изменение времени. Исследования показывают, что движение виртуального солнца влияет на ощущение времени. Ускоренное движение солнца в VR-приложении приводит к тому, что продолжительность сессии кажется меньше.