Что такое аватар в виртуальной реальности и как избежать эффекта «Зловещей долины» — колонка компании Cerevrum

Один из основателей компании Cerevrum, занимающейся разработкой проектов в области виртуальной реальности, Денис Тамбовцев, написал колонку на DTF.

Он рассказал о том, что такое VR-аватары, что называют «Зловещей долиной» и как её избежать, а также поделился теорией о том, как создать идеального аватара.

Если у вас уже есть очки виртуальной реальности, вы занимаетесь разработкой или просто интересуетесь темой и следите за обзорами VR-проектов, то могли заметить один интересный момент, касающийся подхода разработчиков к созданию аватара пользователя. Дело в том, что в проектах от первого лица аватар часто вообще отсутствует, показаны только модели рук, либо какие-то объекты в руках (меч, лук, пистолет, сковородка и тому подобное).

При этом, для других пользователей ваше виртуальное тело визуализировано. Если же в игре или сервисе присутствует аватар в полный рост, то часто это робот, полупрозрачное абстрактное тело, либо он утрирован как-то иначе — визуально нереалистичен.

Может показаться, что причина частого отсутствия аватаров в полный рост в VR-проектах заключается в простой экономии: не нужно создавать модель тела, анимировать его, оптимизировать весь этот контент. Но есть две интересные особенности, которые делают вопрос с аватарами в виртуальной реальности не таким простым, как кажется на первый взгляд.

1. Сенсорный диссонанс

Часто аватар в проекте создается для усиления эффекта присутствия. Речь идет об обозначении «себя самого» в виртуальном мире — переносе чувства собственного «я» на виртуальный аватар. В VR вы находитесь внутри изображаемого пространства и при визуализации своего виртуального тела ожидаете, что оно будет вести себя в соответствии с вашими действиями.

В неврологии существует понятие схема тела. Благодаря ней мы имеем представление о его динамических характеристиках, текущем положении его частей и можем планировать движения. Например, вы можете дотронуться пальцем кончика носа с закрытыми глазами — вы всегда знаете где находится ваш локоть, ваше колено, куда повернута кисть.

А теперь представьте, что в виртуальной реальности пользователь ограничен лишь системой отслеживания, что используется с очками виртуальной реальности HTC Vive. Эта система хоть и точно, но может определять лишь положение шлема и двух моушн-контроллеров, которые держит пользователь в руках. Зная, где находится ваша кисть, система не знает, где располагается локоть, не говоря уже о расположении ног.

При этом, вы сами прекрасно понимаете, в каком положении находится ваше реальное тело. И если разработчик попытается создать полноценный аватар в проекте для Vive, то пользователя может сбивать подобный рассинхрон между тем что он видит в виртуальном пространстве от первого лица и тем, что чувствует в реальности, так как трехмерная модель не сможет повторить точное положение всех частей реального тела. (Например, ваши виртуальные и реальные локти могут находиться в разных позициях).

Это напоминает проблему перемещения в пространстве, когда возникает укачивание из-за рассинхронизации между тем, что пользователь видит (двигается в виртуальной реальности) и чувствует за счет вестибулярного аппарата (сидит в кресле). Только в случае с аватарами можно говорить о конфликте восприятия реального и виртуального тела, который, как кажется, также может вызывать не очень приятные ощущения или просто ухудшает эффект погружения в виртуальную среду.

2. Зловещая долина

Данный момент связан не только с восприятием своего аватара, но и восприятием моделей других пользователей, а также неигровые персонажи в виртуальной среде.

Одна из главных особенностей VR с сетевым взаимодействием — ощущение реального присутствия других людей в одном пространстве. Достигается это за счет отслеживания шлема и контроллеров, объемного звука и других инструментов.

И это делает вопрос со «Зловещей долиной» более актуальным, чем на других платформах.

Если в виртуальном окружении будут находиться аватары, некоторые части которых могут двигаться реалистично, благодаря системам отслеживания тела (голова, контроллеры в руках), а некоторые анимируются в отрыве от реального движения (ноги, мимика и т.п.), то это может вызвать у пользователя довольно неприятные ощущения. Вроде бы прямо перед вами реальный человек, если вы с ним знакомы, то его можно идентифицировать уже просто по движениям головы и движениям моушн-контроллеров, но «что-то» с ним не так.

Речь тут не только о несоответствии движения тела и воспроизведении мимики, но и о попытках фотореалистичной визуализации самих аватаров. Чем более реальным будет казаться аватар (но все еще отличным совершенно реалистичной модели), тем сильнее будет ощущаться контраст между реальными движениями частей тела, которые считываются и неестественным поведением и изображением всего остального контента.

Исходя из особенностей выше, попробуем представить идеального аватара в виртуальной реальности с управлением от первого лица и понять, что требуется для его создания.

● Полное считывание поведения тела, мимики и направления взгляда.
Если мы хотим полностью решить вопрос сенсорного диссонанса, нам нужно синхронизировать реальное положение тела пользователя и виртуальное. Чтобы достичь этого, нужно передавать без каких-либо задержек данные о расположении частей тела пользователя, включая мелкую моторику.

Тут стоит вспомнить классическую иллюзию резиновой руки — обратите внимание на вторую часть эксперимента.

Благодаря слежению за зрачками и мимикой, возникает возможность установки зрительного контакта, чтение выражения лиц и микромимики — все это сработает на раскрытие возможностей невербального общения в виртуальной реальности, а также (вместе с системой полного слежения и воспроизведения движения остального тела) упростит ситуацию со «Зловещей долиной».

● Решение вопроса визуализации. Для обхода эффекта «Зловещей долины», аватар, которым мы управляем (и которого мы воспринимаем в качестве другого пользователя), должен быть полностью фотореалистичным, либо утрированным визуально.

● Обратная связь. Усиление обратной связи от воздействия виртуальной среды на аватар (или наоборот) ещё больше увеличит ощущения присутствия в виртуальной реальности

Оставим пока размышления на счет будущего развития направления систем отслеживания и обратной связи или же возможности создания полноценных систем нейроинтерфейсов для обхода органов чувств с доступом прямо в мозг, и посмотрим на текущие варианты реализации виртуальных аватаров.

В зависимости от непосредственных задач проекта, возможностей системы отслеживания, а также визуального стиля и сетинга можно выделить следующие комфортные способы использования аватаров в VR-проекте, доступные уже сейчас.

Захват движения и полноценные аватары

Все существующие системы отслеживания в потребительских версиях очков виртуальной реальности определяют лишь положение самого шлема и контроллеров, что ограничивает возможность полноценной синхронизации реального и виртуального тела. Использование же технологии захвата движения позволяет снять это ограничение.

Но это нишевый вариант, который сейчас используется в «центрах полного погружения», вроде THE VOID и других аналогов. Технология в текущем виде вряд ли будет распространена среди пользователей из-за цены, сложности настройки и администрирования. Однако, на данный момент это самый эффективный способ создания полноценного аватара во весь рост в виртуальной реальности.

Тут стоит уточнить, что под полноценными аватарами подразумеваются реализация на базе отслеживания нескольких основных суставов. Так как все еще пока нет простых в использовании и стабильных решений, например для мимики и зрачков глаз, которые можно было бы задействовать в развлекательных центрах или дома без длительного процесса подготовки оборудования и самих пользователей.

Также существуют несколько проектов костюмов для отслеживания тела, рассчитанных на массовый рынок, но пока рано говорить, как о готовой потребительской версии, так и строить прогнозы относительно будущего подобных разработок в целом.

Далеко не всегда нужно отслеживать все тело пользователя. Есть проекты, где аватар не ходит и не совершает сложных действий руками. Например, в симуляторах, где он располагается в кабине в статичном положении, а руки почти всегда держит на руле или других джойстиках.

В таких случаях легко предугадать положение реального тела пользователя и визуализировать это положение в виртуальной реальности. И тут уже сам пользователь может просто подстроиться под положение виртуального аватара, тем самым «синхронизировав» реальное и виртуальное тела. Понятно, что 100% попадания не будет, но, возможно, это не так и страшно при подобном статичном положении.

На текущий момент, это кажется наиболее логичным способом. Если речь идет о пользовательском опыте от первого лица, то большинство разработчиков отказывается от визуализации или анимации тех частей тела, которые нельзя отслеживать в пространстве в реальности. Чтобы не создавать рассинхрон между реальным положением пользователя во время его движения в пространстве и положением виртуального тела.

Как видно из примера, чаще всего разработчики показывают только кисти рук, которые либо могут держать игровые объекты, либо заменяются на модели объектов при их активации.

Помните фразы вроде «меч — это продолжение твоей руки»? Это не просто метафора — чтобы человек мог пользоваться инструментами, они должны интегрироваться в его схему тела, т.е. в прямом смысле стать его частью. Поэтому люди ощущают габариты автомобиля, которым управляют или чувствуют, что дотронулись кончиком швабры до упавшего за диван пульта от телевизора. И именно поэтому трехмерные модели, которые визуализируются на месте моушн-контроллеров, кажутся такими реальными.

При этом, в сетевых играх тело пользователя может быть не визуализировано только для него самого, но для других игроков этот аватар отображается. Так сделано, например, в играх Dead & Buried или в Hover Junkers, а также почти всегда визуальный стиль позволяет обойти стороной проблему со «Зловещей Долиной».

Вне зависимости от выбора варианта выше, в плане визуализации можно выделить следующие моменты:

● Отказ от реалистичного изображения людей. Роботы, призраки, голограммы — все это в той или иной степени может хотя бы сгладить проблему со «Зловещей долиной» и обыграть отсутствие визуализации тех или иных частей тела. Эта проблема тут действительно стоит более остро, чем на других платформах из-за того, что пользователь ощущает присутствие других других людей вокруг себя в виртуальном пространстве.

● Использование стилизации в целом. Использование нефотореалистичных визуальных стилей, упрощенная геометрия, утрированная анимация — все это также может помочь создать комфортный пользовательский опыт. Обойти и проблему «Зловещей долины», и сгладить ситуацию с несоответствием положения виртуального и реального тела при визуализации полноценных аватаров (если принято решение реализовать их без полной привязки к движениям пользователя).

● Про лица и мимику. Пока не существует доступных продуктовых решений для быстрого отслеживания мимики, рассчитанных на массовый рынок. Сейчас разработчики часто различным образом пытаются обыграть момент с лицами — скрывают очками, масками, скафандрами — отходят от реалистичного изображения лица человека, если не используется какая-либо упрощенная визуальная стилистика.

Никто не запрещает закрывать глаза разработчикам на две особенности, указанные выше, и пытаться реализовать двигающиеся аватары в полный рост без 100% привязки к реальному положению тела пользователя, обыгрывать мимику и так далее.

Пользователи, на текущий момент, загружают все что есть: им интересен новый опыт, а контента доступно совсем мало. Но, если говорить о комфортном взаимодействии в виртуальной реальности, то перед принятием решения относительно аватаров в проекте стоит разобрать несколько вопросов:

● Какую задачу должен выполнять аватар? Если основная причина использования аватара заключается в попытке усилить эффект присутствия, то нужно четко оценить все плюсы и минусы того или иного функционального и визуального решения.

● Какие возможности есть для отслеживания тела? Разные системы отслеживания предоставляют разные возможности по визуализации виртуального тела. Это нужно учитывать в рамках концепции аватаров в проекте.

● Будет ли просто обойти стороной «Зловещую долину»? Можно ли на уровне сеттинга или визуального стиля как-то обыграть изображение аватара? Например, отказаться от детализации лица и эмоций?