[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjog" } } }, { "id": 10, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "create", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-229719-0", "render_to": "inpage_VI-229719-0-952491735", "adfox_url": "//ads.adfox.ru/228129/getCode?p1=bxeub&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid21=&puid22=&puid31=&fmt=1&pr=" } } ]
{ "author_name": "Олег Чимде", "author_type": "self", "tags": [], "comments": 19, "likes": 10, "favorites": 0, "is_advertisement": false, "section_name": "gamedev" }
Олег Чимде
1 520
Gamedev

Доступная виртуальная реальность: разработчик о проекте VR Stream

В начале октября российская компания Dive Into VR выпустила приложение для стриминга игр в виртуальной реальности на смартфоны. Благодаря VR Stream можно играть как в обычные компьютерные игры, так и в проекты с поддержкой Oculus Rift. Вам понадобятся только мобильный телефон и недорогая гарнитура вроде Google Cardboard.

Программист и сооснователь компании DVR Валерий Дубов подробно рассказывает, как работает технология и какие трудности встретились ему на пути от идеи до реализации.

Поделиться

В избранное

В избранном

Я занимаюсь мобильными разработками в сфере виртуальной реальности и считаю эту область наиболее перспективной и доступной для большинства пользователей. Сегодня я бы хотел рассказать о проекте VR Stream. Эта технология передает видеопоток с компьютера в мобильный телефон и преобразует картинку в режиме виртуальной реальности. По сути, мы заменяем дорогостоящие VR-устройства, вроде Oculus Rift и HTC Vive, и даем пользователям полный эффект присутствия и вовлеченности в игру.

DVR выступила технологическим партнером ВДНХ на Московском урбанистическом форуме

Об идее

Идея проекта родилась из моего прошлого опыта: я разрабатывал проект операционной системы в дополненной реальности. Тогда, благодаря книгам и собственной фантазии, в голове и сложилась четкая картина, как можно управлять данными при помощи собственных рук. Да-да, точно как в «Железном человеке».

Рынок AR активно развивался, и все больше людей понимало, как все это может выглядеть и работать. Железо постепенно расширяло свои возможности, так что я взялся за создание операционной системы и сделал прототип на Android: там использовалась страшная система охлаждения и Fish Eye линза.

Выглядело все, конечно, очень сырым, но я напомню — это было два года назад. Поэтому сегодняшние проекты, вроде Tilt Brush от Google или Social VR от Oculus, не производят на меня особого впечатления.

Вот пример использования Oculus и Leap Motion:

Тем не менее, Oculus и Leap Motion не укладывались в мою идею мобильности, и я столкнулся с серьезными проблемами на рынке железа — ограниченная производительность и отсутствие контроллеров вроде VR-перчаток. Я не нашел надежного решения и понял, что нужно сильно упростить идею и все-таки работать с тем, что есть (благо опыт позволял).

О разработке

Пока сокращал количество «хотелок» — понял, что мощности смартфонов будет недостаточно. Впрочем, только они дают желаемый уровень удобства, так почему бы мне не поставить где-нибудь сервер и не присоединить к нему смартфон и запустить приложение? Отличная мысль!

С этого, по сути, и началась моя разработка технологии стриминга. Первый прототип был создан с помощью крутой технологии Nvidia GRID, и вроде бы это должно было решить большинство задач. Вот только работала она только с картами Nvidia Quadro. Получив желаемый прототип, нужно было масштабироваться, и тогда я столкнулся с проблемой — Nvidia юридически запретила использовать эту технологию на других картах, то есть лицензия распространяется только на Nvidia Quadro. Привет Steam с их In home streaming и Moonlight, которые все-таки используют эту технологию и не скрывают этого.

После такого «облома» я принялся изучать альтернативные решения, но все программы, которые были на тот момент, давали либо задержку в 0.5 — 1 секунду, либо очень плохое качество картинки, либо крайне низкий FPS.

Основной задачей стало получить из игры сформированную картинку и максимально оптимизировать ее для отправки по медленному Wi-Fi, не нарушая при этом лицензии. Узкое место здесь — лишнее копирование в памяти, лишние такты процессора и прерывания. Все эти операции тратили милисекунды, которые суммарно превращались в заторможенность и дискомфорт в работе. Но в итоге мне удалось достичь желаемых показателей.

С телефоном было проще — это всего лишь воспроизведение видео, и производители чипов эту задачу оптимизируют самостоятельно. Тем не менее, небольшие «допилки» все же понадобились: телефон не должен был уходить в режим энергосбережения и включать лишние буферизации для плавного воспроизведения.

В любом случае, на первом месте стоял вопрос о задержках. И вот каких показателей нам удалось достичь.

Настройки стриминга:

— 1440p90 (pixel perfect для Samsung S6)

— Bitrate 30000

Тесты проведены на компьютере 6700HQ + GTX 1060, телефон Samsung S6. Трансляция осуществлялась по воздуху, стандарт 802.11n 5 ghz. 300mbit.

Среднее арифметическое — 20.8 мс. Теперь прибавляем время, которое нужно для рендера одного кадра у игры: в нашем случае это 10 мс, так как рендер шел при 92 кадрах в секунду. Это время уже включает обновленный контроль поворота телефона и предсказания гироскопа.

Затем прибавляем время, которое требуется монитору компьютера для обновления — это 5мс. Таким образом, получаем: 20.8 + 5 + 10 = 36мс — это motion-to-photon latency (задержка между движением головы пользователя и отображением на дисплее — прим. ред.) при трансляции по воздуху Oculus-игры.

О технологии

VR Stream — это инструмент, с помощью которого пользователи могут играть в привычные компьютерные игры новым способом, погрузившись в VR. Для этого достаточно иметь компьютер, который «тянет» уже существующие игры, смартфон и недорогой мобильный VR шлем, пусть даже Cardboard за два доллара.

Мы проводим тестирование существующих игр на совместимость и удобство игры в виртуальной реальности, и на основе этого пополняем список. Сейчас у нас есть уже 32 игры.

Помимо игр для Windows, с помощью VR Stream можно также запускать вещи, разработанные под Oculus, из Steam или Oculus Store, — то есть игры, уже адаптированные или созданные под VR изначально. Безусловно, ощущения от них гораздо круче за счет адаптированного интерфейса, глубины картинки и эффекта присутствия.

Сама технология состоит из двух компонентов: мобильное Android-приложение и ПК-клиент. Чтобы развиваться дальше, конечно нужны ресурсы, поэтому мы ввели монетизацию. Работает она так: пользователь получает бесплатный час игры, за который вполне можно опробовать совместимость и комфорт, ну а потом система попросит заплатить три доллара за игру.

Итоги

Последнее время все только и говорят про VR. Про его перспективы, возможности, опасности, непредсказуемости и прочее. И каждый по-своему прав. Очевидно, чтобы рынок VR стал мэйнстримом, нужно вкладывать много сил и энергии в разработку софта и контента — только так можно полноценно раскрыть все возможности технологии.

Шлем виртуальной реальности не должен пылиться на полке, а его функция не должна ограничиваться демонстрацией друзьям или соседям «Американских горок». Эти штуковины способны на многое, если их правильно использовать.

VR Stream решает вполне понятные проблемы существующего рынка виртуальной реальности — расширяет базу высококачественного VR-контента и снижает входную стоимость. Причем, эта схема выгодна как пользователям, так и разработчикам — мы приводим новую огромную аудиторию, что позволяет последним быстрее окупить инвестиции, вложенные в игру и быстрее зарабатывать.

В ближайшей перспективе мы планируем прикрутить возможность запуска игр из Steam VR, а также полноценно поддерживать карты AMD.

Популярные материалы
Показать еще
{ "is_needs_advanced_access": false }

Комментарии Комм.

Популярные

По порядку

Прямой эфир

Узнавайте первым важные новости

Подписаться