Gamedev Антон Антонов
4 806

Разработчик рассказал про девкит очков дополненной реальности Magic Leap

Технические особенности, отличия от VR, две среды выполнения и проблемы оптимизации.

В закладки
Аудио

Специалист по VR Эвер Казмир (Avaer Kazmer) опубликовал обзор девкита очков дополненной реальности Magic Leap, которые поступили в продажу 8 августа. Он поделился впечатлениями о системе интерфейсов, звуковых настройках, конструкции полигональных сеток объектов и технических особенностях устройства.

По ощущениям разработчика, Magic Leap словно переносят виртуальную реальность в настоящую. У очков виртуальной реальности и устройства много схожих особенностей.

  • Многозадачная операционная система.
  • Магазин приложений.
  • Дисплей, закрепляющийся на голове.
  • Шесть степеней свободы для всего.
  • Контроллер.
  • Требования для игровой зоны.
  • Современный GPU.
  • Микрофон.
  • Богатый и хорошо реализованный SDK.
  • Интеграция с движком.
{ "items": [{"title":"","image":{"type":"image","data":{"uuid":"f198105f-8233-559a-8a04-aee57457cbe2","width":1000,"height":733,"size":883103,"type":"png","color":"443322","external_service":[]}}},{"title":"","image":{"type":"image","data":{"uuid":"514f1b9a-d172-fe65-e7d6-647b84c18d36","width":1000,"height":746,"size":1020895,"type":"png","color":"353221","external_service":[]}}}] }

Казмир напомнил о главном отличии разработки приложений для устройств дополненной реальности — авторы должны прописать алгоритм анализа объектов реального мира, который превратит их в полигональные сетки. Специалист считает, что в случае с Magic Leap эту функцию отлично выполняет встроенный API, способный простраивать сетки и вычислять глубину объектов.

Секрет Magic Leap One — это система полигональных сеток. Она действительно неплоха. Это очень хорошо, поскольку её задействует очень много компонентов Magic Leap One.

Когда вы ходите и осматриваетесь по комнате, то система использует AI, SLAM (метод одновременной локализации и построения карты — DTF) и связанные датчики, чтобы построить воксельную полигональную сетку реального мира.

Эвер Казмир
VR-специалист

Разработчик подчеркнул, что ещё одно отличие Magic Leap One от VR заключается в способе расположения контента. В случае с VR, пользователь «телепортируется» в совершенно иное окружение, которое полностью простраивается системой. Технология AR использует меньше объектов и не заменяет пространство полностью. По мнению Казмира, это совсем иная методология разработки — авторам надо думать о взаимодействии малого количества объектов с реальным миром.

Работу устройства обеспечивает операционная система Lumin OS, основанная на Android. Специалист проводит параллели — файлы Magic Leap называются mpk (apk у Android), а программа отладки — mldb (adb у Android).

Magic Leap поставляется с двумя средами разработки, которые позволяют создавать приложения различных типов.

  • Lumin SDK immersive apps.
  • Lumin Runtime apps.

«Иммерсивные» приложения, по мнению Казмира, будто пришли из VR. Если их включить, то они начинают заполнять пространство вокруг. Такие приложения достаточно сложны и масштабны, чтобы работать параллельно с какими-либо другими. Один из примеров «иммерсивных» приложений — это песочница Create.

Приложения Lumin Runtime основаны на графе сцены. ОС позволяет запускать и выводить одновременно несколько приложений, например, веб-браузер The Helio и медиа-плееры.

Казмира удивили две особенности: работа со звуковым сопровождением и система аватаров. Специалист отметил, что звук выполнен на высоком уровне (для прослушивания не требуются наушники) — более того, он играет «критически важную» роль в впечатлениях.

Также Magic Leap поддерживает социальные функции, которые связаны с системой аватаров. Они отслеживают голос, жесты и взгляд. По мнению Казмира, аватары могут послужить хорошей основой для крупных приложений.

Разработчик также изучил параметры экрана и графику. Он отметил, что пользователь не видит никаких пикселей — вид приложений напоминает скорее голограммы. Разрешение Magic Leap меньше, чем у VR-очков, однако и поле зрения у устройства значительно меньше (но больше, чем у аналога Microsoft — Hololens). Казмир отметил, что со временем AR-объекты становятся неотличимы от реальных, потому что подчиняются тем же законам физики.

Но в остальном с графикой есть проблема — иногда складывается впечатление, что приложения неоптимизированы. Торможения наблюдаются, если разместить в пространстве вокруг себя множество объектов-приложений Lumin Runtime.

Казмир резюмирует, что для разработчиков в Magic Leap существует много возможностей, но не все они доведены до конца — например, система аватаров или браузер, который отличается от обычного лишь возможностью помещать туда (или вытаскивать) 3D-объекты. Специалист рекомендует обратить на устройство внимание только разработчикам, а пользователям лучше подождать.

Видеоверсия обзора

Девкиты Magic Leap One стали доступны для разработчиков в начале августа. Их можно приобрести только в Чикаго, Лос-Анджелесе, Майами, Нью-Йорке, Сиэтле и Сан-Франциско. Цена устройства составляет почти 2300 долларов. Оно состоит из гарнитуры Lightwear, карманного компьютера Lightpack и контроллера.

Первые впечатления журналистов были противоречивыми. С одной стороны, прессу впечатлили технические характеристики и программное обеспечение устройства, а с другой — у Magic Leap слишком мало отличий от конкурента Hololens, устройства Microsoft.

#magicleap

Материал дополнен редакцией
{ "author_name": "Антон Антонов", "author_type": "self", "tags": ["magicleap"], "comments": 47, "likes": 49, "favorites": 15, "is_advertisement": false, "subsite_label": "gamedev", "id": 24804, "is_wide": false, "is_ugc": true, "date": "Sun, 12 Aug 2018 11:31:31 +0300" }
{ "id": 24804, "author_id": 4617, "diff_limit": 1000, "urls": {"diff":"\/comments\/24804\/get","add":"\/comments\/24804\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/24804"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 64954 }

47 комментариев 47 комм.

Популярные

По порядку

Написать комментарий...
5

Выглядит как дорогая игрушка для детей, которая доехала до релиза только за счет хайпа и крутых рекламных роликов. Вспомнились смартфоны Sony, на них есть подобная приблуда с AR-динозавром.

В сравнении с Hololens получается имеем только увеличенный с 35 до 50 градусов угол обзора, ну и производительность, наверное, повыше при немного меньшей стоимости. Но у детища Microsoft и платформа есть более функциональная и взрослая, и профессиональная пользовательская база. Кстати, по слухам, новые HoloLens "Sydney" получат угол обзора в пределах 70-90 градусов.

Ответить
2

Я думаю, еще вопрос удобства с этими очками решен лучше, нежели с Hololens. Последние тяжеловаты и дольше часа в них находиться уже проблематично - давит переносицу, как ни регулируй.
В любом случае, считаю, что эти очки имеют право на жизнь: дешевле Hololens и в то же время не уступают по мощности. Ждем-с нового Hololens, платформа-то действительно привлекает.

Ответить
–1

Никто не мешает Майкрософт подсмотреть решение и вынести часть веса в модуль, который лежит в кармане. Хотя это тоже кривое решение. Думаю, AR до потребительского вида еще много лет.

Ответить
1

Я все-таки жду AR от мелкомягких, нежели от кого-то еще. У них есть силы и деньги, чтобы реализовать действительно шикарную платформу для всего этого.
На данный момент Hololens как таковой выглядит скорее прототипом, наработкой базиса, чем конечным продуктом. Мне кажется, они таким образом прощупали рынок, посмотрели на применение, на идеи в этой сфере.
Сейчас, с накопленным опытом и некоторым видением продукта можно выпустить вторую версию, более заточенную на какое-то применение. В Hololens его, по-моему, сильно и не хватает - отсутствие конкретики в применении определенно не идет на пользу технологии.
Время покажет, а пока будем ждать и наблюдать. В любом случае, уже радует, что есть движение в эту сторону.

Ответить
1

У Magic Leap тоже деньги есть. Правда, пока неясно, на что они уходят.

А от Hololens 2 сейчас очень больших улучшений ждут. И низкой цены (читал про ниже $500), и большого активного угла обзора (70-90 градусов).

Еще есть слухи про Apple. Но пока это только слухи, они не значат ничего.

Ответить
3

До этого ещё далеко, в общем
https://youtu.be/HeGWoh0rUvw

Ответить
0

Все-таки большая проблема - это нехватка вычислительной мощности. Наверное, домашние AR-очки имеет делать смысл подцеплять к ПК. Но другой вопрос - есть ли вообще смысл в чисто домашней AR.

Ответить
2

Эти штуки должны работать через облачные вычисления и просто показывать качественную картинку. Все что нужно было бы этой штуке это высоко скоростное соединение. Смысл появится, если эта штука будет иметь нормальный вид и размер наподобие строительных очков.

Ответить
–9

В России такие устройства запретят, это шпионаж в чистом виде. Придется ждать когда подобное устройство запустит ̶К̶Г̶Б̶ Яндекс, т.е. никогда.

А если серьезно, то эти технологии, если они пойдут в массовый рынок через несколько лет, будут не только новой революцией после смартфонов в смысли UE, но и открывают большие перспективы для робототехники и компьютерного зрения.

Ответить
4

Нет, запрещено то, что замаскировано.
Эти очки сложно принять за обычные.
GoPro же не запрещают.

Ответить
3

С чего бы? На днях видел мужика в Hololens на улице в Москве.

Ответить
0

уже сообщил куда следует?

Ответить
5

Все, его задержали, за шпионаж в чистом виде.

Ответить
2

нас всех подловили

Ответить
–3

Сейчас это все умеет мой айфон

Ответить
13

Что я не могу понять, так это почему многие люди всерьез ставят на одну доску AR в телефоне и AR в очках. AR в телефоне - это плоская картинка, которую ты видишь на плоском экране, и при этом благодаря боковому зрению ты прекрасно понимаешь, что в реальности дополненных объектов не существует - ты их просто не видишь за пределами экрана. Таковы принципиальные ограничения, от которых никуда не делаться. Это просто экранчик в руках, на котором что-то нарисовано.

Очки - это стереоскопическое изображение, которое при правильной реализации может полностью обмануть мозг. ты сможешь не только видеть виртуальные объекты, но и верить в них.

Очки - устройство, которое может ввести дополненную реальность в повседневную жизнь человека, благодаря им в дополненной реальности можно жить с утра и до вечера. Телефон - устройство, которое создает дополненную реальность, только когда ты его держишь в руках с запущенным приложением.

Ответить
1

Ты сейчас серьезно вообще? Готов на мир целый день смотреть через камеру и экран?

Ответить
1

Ну недавно никто не верил что в телефоне будет навигатор, камера и тп. Просто когда-нибудь совместят. Смысла в просто очках особо не вижу, тем более в таких прототипы которых показывают

Ответить
0

Что за тупая демагогия. Нельзя совместить невозможное.

Ответить
1

Ну да. Вот так и говорили

Ответить
1

Что-то среднее между
AR в телефоне и AR в очках

Еще бы разрешение экрана и камеры выше. Но эффект классный, особенно на New 3DS ("суперстабильное 3D" за счет сканирования положения головы относительно экрана).

Ответить
–1

Практический толк всё равно один и лучшее погружение не нужно, раз уж мы (ты) рассматриваем эти устройства не как полноценно развлекательные, на что у них как минимум только лишь одной мощности не хватит, а как практичные типа навигатора или переводчика разных табличек и надписей. Поэтому не вижу смысла тратить ещё $2-3к к стоимости своего смартфона, что бы получить тоже самое, только чуть иначе и в виде ещё одного девайса, который нужно будет постоянно носить с собой/на себе, заряжать и т.п.

Ответить
2

Практический толк всё равно один

нет не один. На практике телефон годится только для игрушек, потому что каждый раз доставать его для дела задолбаешься.

Ответить
0

Это пока. Потенциальное развитие именно очков все равно лежит за гранью возможностей смартфона, т.к. дополнение реальности в, скажем, 3D, всяко интереснее, чем банальное наложение "дополнения" на буфер с камеры телефона.
На данный момент согласен, что потребителю нет большого смысла покупать подобные устройства - они относительно слабые, функционал явно ограничен и сфера применения не совсем очевидна. Плюс отсутствие в этом девайсе реальной необходимости среднестатистическому пользователю накладывает свои ограничения.

Ответить
0

То что сейчас делали на видео, намного удобней делать в ар чем на телефоне.

Ответить
–4

ну да, 100 проц у айфона полигональная сетка хотя-бы в половину этой сможет по разрешению подражать, ага... И при движении в плоскостях 100 проц айфон сможет также точно держать контрольные точки, ага...
Нашли что сравнить: ракету и говно с палками в катапульте блин...

Ответить
1

Выглядят они стремно)

Ответить
0

Слегка трипофобно?

Ответить
–2

Такие устройства расцветут когда мы сможем управлять интерфейсом силой мысли, тогда поменяется способ взаимодействия в лучшую сторону.

Ответить
2

Не нужно AR-очки рассматривать как замену компьютеру. Скорее это хитрое устройство подачи информации, которое можно использовать для создания сервисов, не требующих активного взаимодействия. Простой пример: гугл-перевод с фотографий текста можно совместить с AR. В результате будешь идти по Шанхаю и видеть все надписи вокруг на русском, а не на китайском. Круто? Круто. И никакие нейроинтерфейсы не нужны.

Ответить
0

Открывать приложения силой мысли намного полезнее для человека, например не открывая приложение подумать переведи эту надпись и он переведет, это меняет способ взаимодействия как сделала эпл она для тач пада сделала свой интерфейс и он стал удобным и им начали пользоваться, и как делали майки просто винду туда поставили и пользуйся как хочешь, здесь будет тоже самое, пока не поменяют способ взаимодействия с ар им не будут пользоваться потому что, то что есть сейчас, это не так удобней чем достать телефон, тебе придется или взглядом найти переводчик или специальным геймпадом навести на него это не очень удобно.

Ответить
2

Открывать приложения силой мысли намного полезнее

А еще полезнее, если вся работа вообще сама будет делаться роботами. Повторю: AR-устройство может быть полезным безо всяких нейроинтерфейсов.

Ответить
–2

Но не по цене четырёх айфонов или двух десятков китайфонов, которые умеют делать точно так же через соответствующее приложение гугла - только конечно же будучи не прикреплёнными к голове и как для меня - это только плюс, я не намерен ходить по улицам с этими страшными бандурами на голове (девкит hololens держал в руках и для публичного ношения это просто убожество).

Ответить
1

Сравнивать ранний девкит с потребительским изделием - это сильно.

Ответить
2

Только не говори ему, что все молодые технологии дорого стоят. Что некогда фотокамеры стоили бешеных денег, магнитолы (особенно японские) стоили дороже дома.

Ответить
0

Не надо утрировать, это не сказка открывать приложение силой мысли и может оно будет полезным для усконаправленных действий, но бум ар будет когда под него заточат управление.

Ответить
0

Я привел пример использования без нейроинтерфейсов. Либо объясни, почему он не катит, либо перестань повторять свое заявление.

Ответить
–1

Потому что тот интерфейс который у тебя под глазами тебе дают управление от телефона или взглядом и оно не удобное как на самом телефоне, как виндовс делали планшеты с виндовс не заточенными под тач пад и они не пользовались успехом потому что были не удобными.

Ответить
1

Это пространные рассуждения, а не аргументы. Вот я при вел пример переводчика. Включишь его жестами, а потом весь день взаимодействовать с ним не нужно. И монетизация за счет показа дополнительной рекламы в AR. Почему, по-твоему, конкретно такой сервис является нежизнеспособным и бесполезным?

Ответить
–1

Я же говорил что для усконаправленных действий он подойдет особенно как ты привел пример с жестами они подходят для взаимодействия с ар в отличии от взгляда или геймпада, но бум я говорю что придется когда можно будут выполнять действия силой мысли.

Ответить
0

управлять силой мысли это, сюрприз-сюрприз, менее сложная задача, чем сделать эти устройства юзер-френдли.

Например уже давно существуют технологии управления протезами.

Ответить
0

А модель то, модель то хоть побрилась?Как всегда, про главное - ни словечка

Ответить
0

Хорошо,что на фото девушка и рот закрыт. А то надоели эти фотки бородатых мужиков в очках с открытым ртом.

Ответить
0

Вместо создания доступного и масштабируемого устройства, идиоты продолжают делать дорогие безделушки, которые среднестатистический пользователь гаджетов, попросту не сможет приобрести.

Ответить
0

Точно идиоты. Некоторые ещё и серийные, типа apple - сначала лет 20 тупили, чтобы Newton до iPhone допилить, теперь ещё 10 лет над очками будут чахнуть. А ведь как и с PDA, все же сразу на руках - и технологии зрелые и дешёвые, и юз-кейсы очевидные, и довольная аудитория прямо уже умоляет о массовом производстве. Зачем очередной Ньютон делать, когда можно сразу айфон?

Ответить
0

Сомнительно для развлечений, но вот на производстве инженерам будет очень полезно.

Ответить
0

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjog" } } }, { "id": 10, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-250597-0", "render_to": "inpage_VI-250597-0-1134314964", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=clmf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudo", "p2": "ftjf" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fzvc" } } } ]
Хидео Кодзима оказался алгоритмом
машинного обучения
Подписаться на push-уведомления