Мобильный AR – ARазговоров-то было!

Коротко о том, что из себя представляет и в какой стадии находится эта индустрия сейчас.

Люди всегда старались привнести в мир информацию, которая упростит им жизнь. Почтовые столбы и современные табло, дорожная разметка и знаки пдд – всё это примеры изменения окружающей реальности с целью упрощения её использования. С появлением компьютеров и техники, имитирующей сенсОрные данные(камера, микрофон и т.д.), стало понятно, что эту идею можно реализовать на новом уровне.

Мы не будем углубляться в границы между виртуальной, дополненной и комбинированной реальностями, так как базовое понимание отличий исходит из их названий:

Виртуальная – полностью воссозданная на компьютере;

Дополненная – полученная результатом совмещения реальной и воссозданной;

Смешанная – полученная путем использования обеих технологий;

Подробнее рассмотрим именно дополненную реальность.

Дополненная реальность (англ. augmented reality, AR) – технология, накладывающая сгенерированное компьютером изображение (или другую сенсОрную информацию) на представление пользователя о реальном мире, обеспечивая таким образом комбинированное восприятие [1]. Важной особенностью является работа в реальном времени и возможность отображения информации в трех измерениях.

Сделаем шаг в сторону и постараемся на пальцах разобраться, как работает дополненная реальность. Не ставя целью подробно рассказать про тонкости алгоритма, рассмотрим лишь 2 этапа:

Эта задача чаще всего решается созданием и тренировкой нейросети на распознавание образов. Грубо говоря – компьютерное зрение, выполняющее роль анализатора. Главная проблема – база данных, на которых компьютер будет тренироваться различать и классифицировать объекты.

Здесь нет однозначного фаворита среди методов, но если тема вам интересна, с удовольствием расскажу подробнее, пишите в комментариях.

Отметим, что алгоритмы строятся на отслеживании маркеров, которыми могут выступать специально созданные (и распечатанные пользователем) изображения, подсвеченные области гарнитур или произвольные объекты окружения.

В результате мы получаем программное обеспечение, которое проводит идентификацию и анализ полученного изображения, далее генерирует виртуальное дополнение, объединяет реальное изображение с его дополнением и выводит результат на визуализирующее устройство (экран).

Становится понятно, что для комфортного погружения нужно проводить подобную операцию минимум 25 раз в секунду, а учитывая изменяющиеся данные о положении, высокое разрешение текстур и плотную полигональную сетку, в общем случае может потребоваться серьезная вычислительная мощность. Острая её нехватка особенно чувствуется на мобильных устройствах. Надеюсь, стало понятнее. Теперь перейдем к сочному.

Все дороги ведут в Рим, а все технологии идут в мобильный (портативный) сегмент. AR эта участь не обошла.

Мезозоем портативного AR можно считать 60-70е годы прошлого столетия, когда предпринимались первые причудливые попытки вместить необходимый функционал в адекватные по размеру устройства. Подробнее останавливаться на этом промежутке я не буду, если интересно, читайте [2].

Нас же, как потребителей свежих технологий, интересует недалекое прошлое, а именно – начало текущего десятилетия. В период 2010-2015 проводились частные разработки утилит и приложений, известным представителем которых является AR дополнение для Google translate, позволяющее в реальном времени получать перевод интересующего текста.

В 2016 сразу две волны популярности накрыли AR технологию, достучавшись даже до совершенно далеких от технологий людей. Произошло это практически одновременно. Одна волна пришла со стороны фото- и видео-приложений, позволяющих примерять на себя маски. Цивилизация потеряла миллионы человеко-часов, примеряя маски панды, тигра, Леонардо Ди Каприо и прочей живности.

О другой волне вы, наверное, уже догадались: Pokemon GO. Сложно объективно оценивать вклад игры, которая побила мировые рекорды прибыли, скачиваний и темпа дохода в первый месяц игры [3]. Стоит отметить, что Niantic собираются повторить успех, разрабатывая игру по вселенной Гарри Поттера .

Ничего принципиально нового с точки зрения технологий игра не привнесла, однако грамотное комбинирование игровых механик, дизайна, сеттинга, франшизы, а также известная доля случайности обеспечила беспрецедентную победу Niantic на рынке AR-игр.

Теперь даже самым допотопным разработчикам стало понятно, что AR пользуется популярностью у пользователей. Начали появляться самые разные утилиты: линейка, виртуальная примерка вещей и татуировок и т.д.

Этому благоволили фреймворки (наборы инструментов) для разработки приложений с функциями дополненной реальности. Среди известных представителей: ARCore от компании Google; ARKit by Apple in California; ARKit 1 и 2, представленные компанией Unity. Благодаря им уже сейчас можно наблюдать появление отдельных разделов в магазинах приложений, качество наполнения которых вызывает вопросы. В этом я не вижу ничего удивительного.

Необходимо понимать, что AR – не новый жанр, а инструмент, технология, позволяющая привнести новый опыт в приложения, но как и любой другой инструмент, он может быть использован неграмотно, бездумно, без малейшей творческой искры. Результаты такого подхода мы и лицезреем в своей массе, но и тут встречаются достойные представители, заслужившие симпатию со стороны пользователей. Упомянем их.

Это приложение уже упоминалось. Функционал прост – перевод текста в реальном времени.

Фирменное приложение IKEA, позволяющее узнать, как будет смотреться их продукция в вашей квартире

Пожалуй, моё любимое приложение с использованием AR. Позволяет узнать о строении окружающих вас вещей, будь то человеческое сердце, тостер или двигатель реактивного самолета. Всем советую!

Маски. Тут все понятно.

Snapchat(Android, iOS)/Instagram(Android, iOS)/MSQRD (Android, iOS)

Для тех, кому захотелось изучить небесную карту. Провести пару часов на улице за наблюдением светил очень интересно!

Игры от Niantic, фирменной фишкой которых стала именно дополненная реальность.

Ingress(Android, iOS)/Pokemon GO(Android, iOS)/Harry Potter: Wizards Unite(soon)

Забавное сочетания сеттинга зомби апокалипсиса и приложения для трекинга бега, в качестве дополненной реальности тут используется звуковое сопровождение, подсказывающее вам когда изменить направление или прибавить темп.

После эпохи Pokemon GO мне не приходилось наблюдать людей, активно играющих в AR. Многие связывают это с тем, что геймплей предполагает активные перемещение телефона и, соответственно, пользователя, что идет вразрез с интересом большинства неподвижных игроков. Однако опыт игровой индустрии показывает, что есть исключения. Если получится довести степень получаемого удовольствия от мобильных AR до уровня Wii или Kinect, базовая идея которых – движение, то игроки смогут по достоинству оценить выходящие на этой платформе игры. Пусть до фотореализма в дополненной реальности в целом и в мобильном ее ответвлении в частности еще очень далеко, давайте наберемся терпения.

Сейчас разработчики очень заинтересованы в использовании этой технологии. Дадим им время набить все шишки, принять во внимание ошибки, выучить все уроки и показать нам, на что они действительно способны.

Для вас писал Александр Угрюмов, спасибо за внимание!