Virtual insanity: почему опыт VR такой иммерсивный

Мозг, если верить книге Аси Казанцевой, заставляет нас делать глупости. Гарнитура виртуальной реальности заставляет человека верить, что он летит на космическом корабле в далёкой галактике, когда он на самом деле вот-вот врежется в кухонный стол. Но как?

В закладки

Хотя VR-девайсы обычно имеют похожую форму, то, как они проецируют изображение перед нашими глазами, значительно варьируется. HTC Vive и Oculus Rift работают на ПК, а крупные игроки вроде Google и Samsung предлагают более доступные гарнитуры на основе смартфонов.

Автономный VR-шлем — это то, о чём вы наверняка не раз слышали. Всё началось с пары моделей, но армия VR-устройств постоянно растёт и расширяется — попробуем разобраться, как они работают на самом деле.

Устройство VR-шлема

VR-гарнитуры, которые у всех на слуху, такие как Oculus Rift и PlayStation VR, являются наголовными дисплеями (head-mounted displays, сокр. HMD), но чаще их называют шлемами или очками виртуальной реальности.

VR-шлемы используют либо два канала, отправленные на один дисплей, либо два жидкокристаллических дисплея, по одному на глаз. В шлеме также есть линзы, которые помещаются между глазами и пиксельным изображением, поэтому устройства часто называют очками.

Эти линзы фокусируют и перестраивают изображение для каждого глаза и создают стереоскопическое 3D-изображение, помещая два 2D-изображения под углом. Попробуйте закрыть один глаз, а затем другой, чтобы увидеть, как отдельные объекты прыгают из стороны в сторону, и вы получите представление об этом.

Эффект погружения: широкий формат и частота кадров

Полное погружение — два волшебных слова, к которым стремится каждый создатель VR-гарнитуры, игры или приложения. Именно оно делает опыт виртуальной реальности настолько реальным, что мы забываем про компьютер, VR-шлем и аксессуары и действуем точно так же, как и в реальном мире. Так как же создаётся эффект погружения?

Начнём с того, что пребывание в виртуальном пространстве уже подразумевает несколько изменённое состояние сознания. Внезапная смена окружающего мира и его правил с непривычки может показаться шокирующей. Вообразите один из моментов в sci-fi шутере Station Zarya: вместо обычной одежды на теле игрока экзоскелет, он мчится на разгоняющейся вагонетке, вокруг простирается космический пейзаж, шаг влево — и под ногами бездна. Впрочем, ступить за пределы вагонетки, буквально шагнув в пропасть, можно — дух захватывает!

cosmic monorail Anvio

Один из способов усилить эффект погружения визуально — увеличить ширину изображения. VR-гарнитуры дают нам увеличенное поле зрения (FOV), то есть более широкий угол обзора по горизонтали — это как делать панорамные снимки или смотреть широкоэкранное кино. Последнее на заре своего появления поразило зрителей «эффектом присутствия». Также популярность сейчас набирают 360-градусные ролики.

Чтобы полученное изображение было хоть сколько-нибудь убедительным, минимальная частота кадров должна составлять около 60 кадров в секунду, чтобы избежать заедания кадров или плохого самочувствия пользователей. Текущее поколение VR-шлемов выходит далеко за рамки этой цифры Oculus способен показать кадровую частоту 90 кадров в секунду, например, в то время как PlayStation VR от Sony справляется со 120-ю.

Ещё один способ повлиять на эффект погружения — задействовать звук. Разработчики приложений и игр используют объёмное звучание, чтобы дать игроку в наушниках ощущение, что звук идёт сзади, сбоку или издалека.

Позиционный трекинг

Голова

Отслеживания движений головы подразумевает, что, когда вы носите VR-шлем, изображение перед вами смещается, если вы смотрите вверх, вниз и из стороны в сторону или наклоняете голову. Система под названием 6DoF (шесть степеней свободы) делит голову на участки с точки зрения размещения осей X, Y и Z и отслеживает движения головы вперёд/назад, вверх/вниз и качаний от плеча к плечу.

В системе трекинга может быть использовано несколько внутренних компонентов: гироскоп, акселерометр и магнитометр. Sony PSVR также использует девять светодиодов, расположенных вокруг шлема, чтобы фиксировать движения головы на 360 градусов — это возможно благодаря внешней камере, отслеживающей эти сигналы.

Чтобы быть эффективной, технология отслеживания головы нуждается в низком времени ожидания — 50 миллисекунд или меньше, или мы обнаружим отставание между тем, когда мы поворачиваем голову и когда меняется виртуальная среда. Лаг у Oculus Rift совершенно незаметный, всего в 30 мс.

Тело

Отслеживание движений головы — большое преимущество, которым обладают премиальные гарнитуры над подобными мобильными VR-гарнитурами. Но крупные игроки всё ещё разрабатывают системы отслеживания движений всего тела. Вот вы надели шлем — что будет первым, что вы захотите сделать? Конечно, вы приметесь рассматривать свои руки и ноги в виртуальном пространстве! И проверять, что ими можно делать: размахивать, пинать предметы, палить из автомата...

Oculus Touch — набор беспроводных контроллеров, предназначенных для того, чтобы вы физически чувствовали, что используете свои собственные руки в VR. Во время игры игрок хватает каждый контроллер и использует кнопки, аналоговые стики и спусковые крючки. Так, например, чтобы выстрелить из пистолета, нужно нажать на ручной спусковой крючок. На каждом контроллере также есть матрица датчиков для обнаружения жестов, таких как указание пальцем и махание.

Другие устройства ввода включают речевое управление и умные перчатки и беговые дорожки (!), как у Virtuix Omni.

Когда же речь идёт об отслеживании положения тела в пределах комнаты, первыми на ум приходят Oculus Rift и HTC Vive, использующиеся на игровых VR-площадках. Oculus всё ещё уступает HTC по уровню. Смотрите сами:

два датчика SteamVR от HTC Vive могут обеспечить отслеживание движений на игровой зоне до 68,6 квадратных метров (225 ft²);

vs.

две камеры с датчиком движения Constellation от Oculus обеспечивают охват в 7,6 квадратных метров (25 ft²), а третья камера доходит до 19,5 квадратных метров.

И глаза!

Отслеживание глаз — это, возможно, последний кусочек VR-головоломки. Айтрекинг не доступен на Vive, Rift и PS VR. Первый VR-шлем, в котором он появился, — это FOVE. Как всё устроено там?

Инфракрасный датчик отслеживает движения глаз внутри шлема. Так FOVE «узнаёт», куда вы смотрите в виртуальной реальности, а значит, персонажи в игре могут более точно реагировать на ваши действия, а глубина резкости изображаемого пространства (ГРИП) станет более реалистичной. В стандартных VR-шлемах вся картинка в резком фокусе, что совсем не похоже на то, как мы привыкли воспринимать мир в реальности. Рассматривая объект на переднем плане, человеческий глаз подобно фотоаппарату (или наоборот?) фокусируется на нём и слегка размывает остальные объекты, не обладающие такой важностью. Система айтрекинга позволяет графическому движку FOVE симулировать зрение, которым мы обладаем в трёхмерном пространстве, в VR.

VR-шлемы по-прежнему нуждаются в изображениях высокого качества, чтобы избежать сетки пикселей на экране. Кроме того, то, на чём фокусируются наши глаза, должно выглядеть как можно более реалистично. Когда всё изображение находится в резком фокусе (а так происходит, если в шлеме нет системы айтрекинга), лёгкое недомогание всё ещё вероятно — ваш мозг понимает, что что-то здесь не сходится. Но к счастью, технологии усмирили вестибулярный аппарат, и пользователи больше не испытывают головокружение и тошноту.

{ "author_name": "Елена Тер-Микаэлян", "author_type": "self", "tags": [], "comments": 24, "likes": 33, "favorites": 24, "is_advertisement": false, "subsite_label": "science", "id": 61053, "is_wide": false, "is_ugc": true, "date": "Fri, 26 Jul 2019 13:32:19 +0300", "is_special": false }
Объявление на DTF
0
24 комментария
Популярные
По порядку
Написать комментарий...
7

На самом деле трекинг глаз нужен для адаптивного рендеринга. Тогда можно экономить ресурсы на объектах вне зоны, куда смотрит игрок.

Ответить
1

Заменить одну ресурсоемкую технологию (рендеринг) другой ресурсоемкой технологией (айтрекинг). Не получится ли как в истории про шило и мыло?

Ответить
1

Трекинг глаз даёт не только упрощение рендеринга, но и возможность реализации интересных ui/ux решений, быстрый выбор глазами менюшек как курсором и тд.

Ответить
2

Но крупные игроки всё ещё разрабатывают системы отслеживания движений всего тела

а оно нужно? имхо что то вроде VIVE Tracker вполне достаточно, нацепил их на ноги и все, основные 5 точек тела трекаются

Ответить
0

ну, например, во многих VR-играх нельзя бегать, прыгать и даже пятиться назад, а теперь это возможно

Ответить

Европейский франт

Елена
1

И кто захочет придя с работы вечером носиться, прыгать и пятиться, играя в игру?

Ответить
8

тот, кто весь день сидел и не двигался — в игру сыграть явно легче, чем выйти на пробежку

Ответить
2

По таким каментам сразу можно понять, что автору нет 40.

Ответить
1

Мне 37, и за 3 года, я вас уверяю, ничего существенно у меня не изменится в этом плане, поэтому буду говорить с позиции 40-летнего — все правильно у нее написано. Храню дома 360 с кинектом для попрыгать-поразмяться после сидячей работы.

Ответить
–1

)) дай то бог

Ответить
0

дай то бог

Имелось, очевидно, в виду, что в _лучшую_ сторону ничего существенно не изменится. Не понимаю ваших запавших скобочек.

Ответить
0

Проблема в том, что в худшую оно будет изменяться с вероятностью близкой к 100%. И адрес своей поликлиники узнаете, и имена врачей. И уж точно физ. нагрузками будете целенаправленно заниматься ради здоровья и формы, а не потому что силы девать некуда.

Ответить
4

Чушь. Это все ваши фантазии, по поводу того, что я и для чего делаю и какое у меня состояние здоровья, к каким врачам я хожу и к каким не хожу, и для чего, и какие у меня диагнозы. Навязывать свои фантазии незнакомому собеседнику некультурно.

Ответить
1

Наверно тот кто не приходит с работы вечером. Или приходит не уставшим.

Ответить
1

Для этого не нужно отслеживание всего тела, чтобы ходить, прыгать, пятиться хватает системы отслеживания текущих шлемов. Отслеживание всего тела нужно скорее для реалистичных аватаров и для социальных игр.

Ответить
0

Это можно во всех виар играх, которые у меня есть. Для переключения между хотьбой и бегом вообще контроллеры ног не нужны, только рук (и это классно ощущается).
Как вообще контроллеры на теле должны обеспечить то, что вы перечислили, по вашему мнению?

Ответить
2

Статья слишком поверхностная. Вы упомянули фреймрейт, но не сказали о главном: black frame insertion. Именно на этом эффекте строится реалистичность изображения в движении и именно из-за этого эффекта требуется 90 и более герц(если ниже - будет очевидно мерцание).
И даже головные боли и усталость - это во многом заслуга этой самой вставки черных кадров.
При желании дополните статью описанием принципов работы bfi и о том, почему сетчатка так реагирует на эти мерцания и почему мы наблюдаем смазы при типичном sample and hold методе

Ответить
0

Спасибо за вашу оценку!
Я только погружаюсь в тему VR, обязательно почитаю о bfi.

Ответить
0

Пробовал VR, единственное, что понравилось больше чем на обычном большом ТВ, это гонки. Но, к сожалению, не мой любимый жанр.

Ответить
0

А вибрацию используют в этих шлемах VR?
Череп и кожа головы очень чутко реагирует на эти сигналы

Ответить
0

Мне кажется голова заболит нафиг от постоянных вибраций.

Ответить
0

В шлеме нет, в контроллерах да.

Ответить
0

Иммерсивный потому что сзади обязательно стоит человек который тебя трясет

Ответить
0

Мы на HTC-Vive разрабатывали большую игру. Скажу по личному опыту - чем дольше в шлеме сидишь, тем меньше ощущения реальности. В конечном счете привыкаешь к такому дерьму, что удивить чем-то сложно в принципе.

Ответить
0

Автор, а что за книга Аси Казанцевой?

Ответить
0

А она так и называется — "Как мозг заставляет нас делать глупости".

Ответить
0

Чесно говоря какая-то устаревшая статья - зона покрытия на StemVR 2.0 tracking до 100м(Vive pro, Valve Index) особенно учитывая что Vive pro вышел больше года назад, eye tracking на vive показали пол года назад, Valve index, вообще не упоминается, хотя там теоретически частота может быть выше 120ти. Много внимания уделяется PS VR, хотя она уже прилично устарела в техническом плане, как и Rift в принципе

Ответить
{ "jsPath": "/static/build/dtf.ru/specials/DeliveryCheats/js/all.min.js?v=05.02.2020", "cssPath": "/static/build/dtf.ru/specials/DeliveryCheats/styles/all.min.css?v=05.02.2020", "fontsPath": "https://fonts.googleapis.com/css?family=Roboto+Mono:400,700,700i&subset=cyrillic" }