Порталы для всех и где угодно: опыт разработчика Portal Painter

Нюансы создания эксперимента в дополненной реальности.

Джейн Фридхофф (Jane Friedhoff) некоторое время работала с ARCore, новым SDK для создания проектов в дополненной реальности на платформе Android. В материале Gamasutra она рассказала о нюансах создания приложения Portal Painter на Unity и ARCore, с помощью которого на любой поверхности можно нарисовать портал в другое измерение.

Прежде чем сесть за ARCore автор опробовала другие экспериментальные приложения в VR и AR, после чего решила сконцентрироваться на абстрактном стиле и отойти от реализма. Во многих демо-версиях AR-проектов были порталы в другие миры, однако обычно они оказывались статичными объектами, позволяющими шагнуть в какое-нибудь цветастое измерение. Фридхофф решила сделать порталы динамичными и дать людям возможность рисовать их где угодно.

Вдохновление она черпала из проектов вроде Sprayscape and Speak To Go, а также ресурсов Google вроде Blocks.

Прежде чем сесть за ARCore, Фридхофф разработала общую структуру работы порталов. У них есть четыре ключевые составляющие:

Опробовав порталы в виртуальном мире с помощью Unity, Фридхофф решила поместить их в реальный, используя ARCore.

Нужно было сделать так, чтобы порталы органично вписывались в пространство. Другими словами, у пользователя должна была быть возможность рисовать их на объектах, находящихся на разном расстоянии от камеры.

Первым делом нужно было определиться, где должен находиться портал. То есть программа должна была понимать, когда пользователь «касался» плоскости из реального мира, и в какой точке это касание произошло.

Обычно в разработке для виртуальных пространств такие задачи реализуются с помощью метода отслеживания лучей, как бы идущих от камеры: программа определяет, пересекаются ли они с объектами или точками интереса. Для работы с дополненной реальностью Фридхофф использовала модули TrackableHit и Session, которые позволяют отслеживать столкновения лучей с объектами реального мира.

TrackableHitFlag уточняет, что мы отслеживаем данные о любых релевантных TrackedPlanes и любых релевантных точках из облака точек в текущем кадре. Результирующий TrackableHit выдаёт положение рисунка пользователя в координатах Unity, которые используются для позиционирования портала на поверхности.

Положение есть, теперь пришло время разобраться с ротацией устройства, ведь разработчики хотели дать пользователям возможность рисовать на полу и потолке.

Чтобы порталы выглядели естественно, нужно было сначала поместить их на правильное место исходя из рисунка пользователя, а затем повернуть так, чтобы они идеально сливались с поверхностью.

Можно было бы использовать нормаль (вектор, перпендикулярный поверхности) в качестве основы для ориентации портала, но так возможности проецирования были бы ограничены только плоскими горизонтальными поверхностями вроде полов и столешниц. Вертикальные плоскости вроде стен ARCore считает частями облака точек, и на них нельзя было бы рисовать порталы.

Наблюдая за тем, как люди играли с Portal Painter, Фридхофф заметила, что они рисовали на стенах, стоя прямо перед ними, а не с определённого угла. Это означало, что правильной ориентацией вертикального портала в большинстве случаев будет положение перед камерой. В результате для горизонтальных порталов разработчики использовали нормали плоскостей, а вертикальные заставляли располагаться перед камерой. Получилось на удивление неплохо.

Когда программа считывала первоначальное положение, пользователь мог рисовать на плоскости с любого угла. ARCore «запоминал» положение всех порталов, благодаря чему пользователи могли ходить вокруг них, а за счёт абстрактности рисунков и облика потусторонних миров компенсировались редкие недостатки ориентации.

В итоге разрыва в качестве трансляции изображений на горизонтальные и вертикальные плоскости почти не стало.