Gamedev Глеб Диденко
3 875

AR-жизнь: применение и перспективы дополненной реальности

Рассказ основателя Indium Lab о существующих технологиях и их развитии.

В закладки

Основатель Indium Lab Александр Ситников написал для DTF статью о прошлом, настоящем и будущем AR-решений на конкретных примерах.

Александр Ситников

Активное обсуждение технологии дополненной реальности (AR) перезапустилось в 2016 году с приходом больших игроков и запуском проектов виртуальной реальности (VR). Казалось бы, где связь? Связь в парадигме потребления контента пользователями и осознании того, что наша реальность может быть модифицирована и улучшена, а также в сдвиге мышления — переходе от 2D-картинок в полноценную 3D-визуализацию.

Если задуматься, технологии часто задают паттерны мышления людей, которые с ними связаны. Изобретение печатного станка позволило научить миллионы людей мыслить словами и текстами. Появление изображений сдвинуло мышление в сторону плотной 2D-визуализации блоков информации, появление видео дало нам возможность осознать концепцию динамического 2D-контента.

Сейчас проходит очередной рубеж. Пока только в головах проектировщиков AR/VR-технологий и первой базы пользователей, которые изучают этот контент. Это рубеж перехода из текстового/визуального 2D в 3D-визуальное мышление. И за счёт этого перехода постепенно развиваются AR\VR-технологии.

Переход необходим из-за непрерывного увеличения информационного потока. Из-за обилия информации мы уже почти не способны потреблять её на уровне текстового контента. Тренд последних пяти лет — видео. Оно позволяет более сжато получать информацию за тот же промежуток времени. Сейчас для многих уже стало нормой одновременное потребление контента с двух мониторов и экрана телефона.

Человеческий мозг смог адаптироваться к современному потоку. Но и этого уже не хватает. Мы как информационная губка, которая может поглощать и обрабатывать невероятное количество информации. Получая её из более чем трёх источников или визуальных образов, мы без труда можем быть мультизадачными. А что, если нужно 20-30 задач, образов одновременно?

Ограничение не в том, что мозг не сможет обработать данные массивы информации в реальном времени. «Бутылочное горлышко» — системы вывода и визуализации информации и удобство взаимодействия с ней. Можно установить 20 мониторов, но даст ли это результат? Скорее всего нет, слишком сложно будет их использовать. А если эти 20 мониторов, а скорее даже точек вывода/ввода информации, будут расположены вокруг вас? Что, если они будут появляться ровно в тех местах, в которых нужны, и после выполнения своей задачи — исчезать? Если весь наш физический мир станет «монитором»?

В ближайшем будущем мы будем мыслить критериями 3D-пространства и использовать его полностью, а не только через информационные окна (экраны мониторов и мобильных телефонов).

Основа 3D-мышления — восприятие мира как информационного монитора с возможностью взаимодействия с нужной вам информацией в любой точке. Это основной тренд современности, в который вкладываются все IT-гиганты.

И одной из точек генерации информации является технология дополненной реальности.

Прошлое

Расхожее утверждение: «всё уже было придумано до нас». Если вы думаете, что AR появилась с выходом Pokemon Go или Snapchat — это не так.

Первая технология дополненной реальности была разработана в 1968 году в Гарварде, когда ученый Иван Сазерленд (Ivan Sutherland) создал носимую систему отображения информации с возможностью проецирования виртуальной среды на физическую. С тех пор десятки компаний и лабораторий занимались развитием и усовершенствованием технологии. Её начали активно использовать в авиационных, промышленных и военных целях.

1992 год ознаменовал рождение термина «дополненная реальность». Впервые он появился в Boeing, в работе «Augmented reality: an application of heads-up display technology to manual manufacturing processes», которая была призвана помочь сотрудникам завода самолётов, отображая схемы сборки пучков кабелей.

Не отставали и разработчики игр. Ещё в 1998 году была сделана попытка перенести в AR Quake. Проект так и назывался — ARQuake. Он проецировал игровой процесс на стену.

Только в 2008 году появилось первое коммерческие AR-приложение. Его разработали для рекламы автомобиля BMW Mini. Это была одна из первых маркетинговых кампаний, позволивших взаимодействовать с цифровой моделью в режиме реального времени.

Но официальным стартом «бума» дополненной реальности стоит считать 2010 год. Тогда журнал Time первый раз внёс дополненную реальность в список технологических трендов будущего.

Так же в это время большие бренды начали использовать данную технологию в своих маркетинговых целях.

National Geographic
Coca-Cola
Disney

Начиная с этого времени, технология активно развивалась в военных, промышленных и рекламных целях, но всё равно оставалась нишевой. Множество фирм строили стартапы на дополненной реальности для рекламы больших компаний, но рынок вяло реагировал на AR и разработки в этой сфере практически не вызывали резонанса.

Пока не произошло событие, после которого о дополненной реальности заговорили практически все. И что самое интересное, этот продукт не использовал дополненную реальность, а создавал псевдо-ощущение её наличия. Но в массовом сознании AR накрепко связалась именно с ним. В 2016 году вышла игра Pokemon GO.

А буквально недавно Apple объявила о создании инструментов для разработки AR-приложений. Мы вплотную подошли к черте, на которой дополненная реальность перестаёт быть развлечением для техногиков и переходит в разряд мейнстрима.

Чтобы не запутаться в том разнообразии технологий и платформ, что уже используются при разработке дополненной реальности, поговорим о настоящем.

Мобильный AR

Категория, которая использует мобильный телефон как основное устройство — самая распространённая и простая для освоения.

Маркерная технология

Использует статические метки/маркеры для запуска вывода данных. Подразумевает использование определённого маркера в виде ключа для активации 3D-объекта. Программная среда распознаёт через камеру маркер либо объект, который перед ней находится, после чего выводит поверх него 3D-модель или изображение.

У разных программ свои методы распознавания изображений, что накладывает определённые требования к подготовке и использованию. Маркерами могут выступать: QR-коды, сгенерированные точки, сохранённые изображения, логотипы брендов и так далее. В данный момент технологии позволяют распознавать как 2D, так и 3D-маркеры.

Пример анализа картинки и сохранения ее маркера

Жёлтые крестики — это точки, которые будет искать программа во время сканирования картинки для поиска в своей базе соответствующего узора и затем выводить поверх него изображение. Как видно на втором примере, при создании хороших меток возникают сложности (чем больше жёлтых крестиков — тем быстрее происходит распознавание и качественнее вывод информации).

В данный момент на Kickstarter более 218 проектов, попадающих под эту категорию. Но только 20 из них успешно собрали деньги. В основном их можно разбить на следующие типы:

  • Книги. Сказки, фэнтези, обучающая литература по скульптингу, медицине. Суть сводится к тому, что пользователь, держа телефон, направленный на страницы, листает книгу и получает дополнительный интерактивный контент на её страницах.
  • Интерактивные поздравительные открытки. Среди интересных функций этого типа — создание живых фотографий. Когда пользователь наводит камеру на фотографию, а на экране поверх неё запускается видеопоток поверх фотографии.
  • Коллекционные карточные игры — большая категория, в которой предлагают оживлять карты, что используют игроки во время игр в настолки.
  • Тир — игрок может стрелять по противникам с видом сверху, например, расстреливая базу зомби.
  • Раскраски — технология, позволяющая через мобильное устройство «оживить» 2D-персонажа c картинки, которого разрисовал ваш ребёнок, ровно в тех цветах и цветовых формах, которые он использовал, создав полноценного 3D-персонажа с анимациями и реакциями на действия пользователя.

B2B-решения

Огромный пласт, использующий мобильную AR-технологию в своих целях. В основном это дополнительная визуализация продуктов компании. Но также и интерактивные каталоги, позволяющие примерить понравившийся стул из каталога прямо у себя в гостиной либо помочь разобрать мотор.

Geo-Based AR

Это комбинация дополненной реальности, системы отслеживания устройств (LBS) и системы глобального позиционирования (GPS).

Она позволяет разместить виртуальный объект в определённой точке, и он будет сохранять свои координаты при последующем взаимодействии с ним любого из пользователей.

Некоторая логика данной технологии была заложена в проектах Ingress и Pokemon GO, но развита не до конца. В данный момент существует множество стартапов (как игровых, так и промышленных), взявших эту технологию за основу.

AR + ibeacon/altbeacon/eddystone

Позволяют генерировать любое изображение или объект в зависимости от датчика и его расположения. Удобно, что «маячок» можно спрятать в любой объект без надобности размещать на нём определённые AR/QR метки. Активнее всего развивается в сфере торговых центров и больших территорий, для которых нужна навигация.

Пример — Разработка системы навигации для аэропорта в Великобритании.

Lens/Masks

Технология, использующая компьютерное зрение и распознавание лиц с последующим наложением на них 2D/3D визуальных изменений.

Самые известные стартапы из этой категории:

  • ​Looksery, купленные Snapchat и послужившие основой для развития технологии генерации масок/линз на лица людей.
  • MSQRD, купленные Facebook и интегрированные в их структуру.
  • Makeup Genius, рекламное приложение компании L’Oréal, позволяющее накладывать косметику на лицо.

Система масок/линз уже интегрирована практически во все большие социальные проекты (Snapchat, Facebook, «ВКонтакте», Instagram, Musically) и стала обязательным элементом для современных социальных сетей.

Также некоторые платформы открыли возможность всем желающим создавать свои маски:

Google Tango и AR

Современный стартап от Google, связанный с работой определённой камеры и алгоритмами, определяющими поверхности и глубину. Позволяет использовать AR без лишних систем маркеров по аналогии с Hololens. Постоянно происходит улучшение технологии и постепенное её внедрение в новые устройства.

На рынке уже есть ​Lenovo Tango и Asus ZenFone. Вот несколько примеров их использования:

Интерактивная игра с маркерами
Трекинг по складскому помещению
Навигация в торговом центре

Список победителей Google Awards 2017 AR, использовавших данную технологию для своих проектов:

При положительной динамике установки данной технологии в новые устройства и на рынок (Samsung, HTC, Huawei и так далее) она станет хорошей платформой для разработки. Однако возможно, что из-за анонса и скорого выхода ARKit, Tango и не найдёт массового применения.

Носимый AR

Следующая большая категория AR-устройств. Пользователь надевает их на себя, они не требуют дополнительных меток для генерации контента, используют методы распознавания предметов, основанные на технологии computer vision, а также построение карты пространства для ориентирования в ней.

Microsoft Hololens — главное устройство этого типа. Оно появилось в 2016 году и активно продвигается. В основном используется в b2b-проектах и пока не может завоевать большую пользовательскую базу из-за цены за устройства в 3–5 тысяч долларов. Имеет довольно небольшой угол обзора —30°×17.5°. Но даже этого хватает, чтобы оценить все преимущества «носимой» дополненной реальности.

Демо-продукты для устройства есть практически в каждом сегменте и ежедневно появляются новые. Среди основных сегментов — медицина, промышленность, образование, реклама, развлечения.

Самые известные из них:

Ещё несколько интересных примеров применения технологии.

Игра Portal AR:

Обучение игре на пианино:

Два примера из медицины:

Operator System:

При этом среди 90 проектов в Microsoft Store очень мало интересных. Это просто тестовые бета-продукты низкого качества. В основном — один объект, который можно рассмотреть с разных сторон и взаимодействовать с ним.

Стоят внимания:

Meta 2

Разработчики Meta 2 обещают схожий с Hololens опыт за 950 долларов. Есть возможность предзаказа. Основное отличие можно обозначить одной строкой: “HoloLens is self-contained computer while as Meta 2 is just an input/output device for a computer”. Это значит, что Meta 2 может выдавать очень детализированную графику с компьютера, но будет ограничивать пользователя проводом. Hololens же беспроводной, но работает в основном с Low Poly моделями из-за низкой вычислительной мощности. Угол обзора Meta 2 составляет 90°.

Будущие/анонсированные устройства

Сложно сказать, какое из них станет массовым. Большую ставку делают на Magic leap (уже более 1,4 миллиарда долларов инвестиций), но из-за закрытой информационной политики компании невозможно понять, что они реально сделали. Зато можно посмотреть красивый ролик.

Другие устройства — это аналоги Google Glass, а именно: небольшие носимые гаджеты в виде очков с небольшим углом обзора и количеством выводимой информации. Стоимость таких устройств — 2–3 тысячи долларов. Имеют хороший спрос в b2b-сегменте и в качестве устройств для конкретных решений.

Вот их небольшой список:

Cardboard AR

Интересная подкатегория, представленная сейчас двумя–тремя концепциями. Такой cardboard для AR, использующий телефон, систему линз и контроллеры, «распечатанные на принтере».

Это очень большая и не занятая до сих пор ниша: кто сделает первое коммерчески правильное устройство, вполне заслуженно заберёт себе рынок начального AR, как это в свое время сделал cardboard. Пример — ZapBox.

Сейчас пользовательская база есть только у Hololens. По информации в сети она не очень большая, продано не больше 10 тысяч устройств. Причина в высокой цене и неудобстве ежедневного использования.

Инструменты AR-разработки

Отдельно стоит остановиться на технологиях для разработки дополненной реальности. Основной средой разработки выступают Unity 3D и Unreal Engine. Уже существуют десятки разнообразных SDK, и каждый может подобрать наиболее подходящее поставленным целям.

В целом всё просто. Планируете использовать размещение объектов в пространстве без маркеров, так называемую SLAM технологию — берёте Wikitude или ARKit. Vuforia лучше всего подходит для маркерной дополненной реальности.

  • Wikitude дорог, около 2,5 тысячи долларов за лицензию;
  • ARKit ограничен только iOS 11;
  • у Vuforia слабый трекинг, иногда дёргается 3D-модель.

Нужен геотаргетинг с сохранением по геотегам — используйте Wikitude и, возможно, Kudan. Планируете работать с Hololens? Понадобится Windows 10 и Hololens SDK. Из интересного ещё стоит обратить внимание на ZapWorks от Zappar. Так называемая «дополненная реальность "для чайников"».

Сложно охватить в рамках одной статьи все кейсы и технологическое разнообразие. Только будущее покажет, какое решение станет массовым.

Будущее

По оценкам аналитиков, AR-рынок превзойдёт VR и станет одной из основных технологий через три года. Если честно, в это верится пока с большим трудом. Особенно, если учесть, как медленно развивается VR, и какие устройства представлены на рынке и в разработке.

{ "items": [{"title":"","image":{"type":"image","data":{"uuid":"6fa040c6-061c-d0c8-34c4-37bd606ec7f3","width":796,"height":460,"size":48274,"type":"png","color":"","external_service":[]}}},{"title":"","image":{"type":"image","data":{"uuid":"849ccad1-1543-bbea-ce5b-420e3ac35d10","width":881,"height":485,"size":125643,"type":"png","color":"","external_service":[]}}}] }

Скорее всего, стабильная AR-платформа появится через пять и более лет (если не случится чуда). Так что если вам нравится данная технология и вы считаете, что за ней будущее — сейчас лучшее время для её активного изучения.

#ar #технологии

{ "author_name": "Глеб Диденко", "author_type": "self", "tags": ["\u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438","ar"], "comments": 15, "likes": 22, "favorites": 1, "is_advertisement": false, "subsite_label": "gamedev", "id": 7800, "is_wide": false }
{ "id": 7800, "author_id": 5399, "diff_limit": 1000, "urls": {"diff":"\/comments\/7800\/get","add":"\/comments\/7800\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/7800"}, "attach_limit": 2, "max_comment_text_length": 5000 }

15 комментариев 15 комм.

Популярные

По порядку

Написать комментарий...

Nikita Radostev

3

Планируете использовать размещение объектов в пространстве без маркеров, так называемую SLAM технологию — берёте Wikitude или ARKit или Vuforia.

Только поправьте, у Vuforia как раз нет SLAM, это и в таблице даже отмечено.

Ответить

Глеб Диденко

Nikita
0

Уже, спасибо.

Ответить

Tim Seyfelmliukov

2

После всех этих демок ARKit, которые появились на просторах интернетов за последние 2 недели, я вообще не понимаю, как остальные будут развивать свои продукты. Ну то есть такого уровня треккинга нет не то что в HoloLens, а даже у маркерных AR. Нечто подобное обещают в Magic Leap, но у них-то это сказки, а тут все наяву – вот, уже работает.

Ну и будет очень интересно посмотреть на то, как работает ARKit на iPhone 8, у которого якобы и спереди, и сзади будет 3D-сенсор от PrimeSense наподобие Кинекта (Apple их пару лет назад купили).

PS. Слежу за темой AR года с 2008, запускал демки с QR-кодами распечатанными еще на iPhone 3G.

Ответить

Nikita Radostev

Tim
0

Ну в HoloLens как раз такой трекинг и есть, просто он достигается не одной камерой, и как девайс абсолютно не удобен.
И поэтому да, ARKit прям вовремя появился. Глядишь все остальные встрепенутся, что у них появился конкурент, который возможно даже уделывает качеством и при этом свой SDK предоставляет бесплатно.

Ответить

Настоящее Настоящая фамилия

1

В таблице сравнивается старый АRToolKit, было бы интересно посмотреть как новый iOS 11 ARKit против Vuforia.

Ответить

Кирилл Рыбин

Настоящее
1

У Vuforia вообще нет поддержки технологии SLAM. Уместнее сравнивать ARKit с Kudan и Wikitude

Ответить

Nikita Radostev

Кирилл
0

Причем у ARKit есть несомненное преимущество — он бесплатный.
Но и очевидный минус — только iOS 11 и только последние девайсы.

Ответить

Tim Seyfelmliukov

Nikita
1

Ну там относительно много девайсов - на A9 и A10 + Limited Capabilities на A7/A8.
То есть в полную силу он работает на 6S / 7 / SE и поддерживается в ограниченном виде по желанию разработчиков на 5S / 6.

Ответить

Nikita Radostev

Tim
0

Хм, я вот про Limited Capabilities как раз ничего не слышал. И сейчас загуглить тоже не получилось.
Ну и всё же отсутствие Android тоже свою роль сыграет — для тех, кто делает AR-приложения по заказу это вполне может ничего не дать, как правило хотят приложение и на Android, и на iOS

Ответить

Maxim Okhokhonin

Nikita
0

Сыграет да, но тут смысл в другом — раньше AR была маркетинговой игрушкой, а сейчас наконец-то станет технологией для конечного пользователя, потому что продукты с ней обретут внятные юзкейсы и value, что подтверждается демками и концептами, которые посыпались ото всюду как из рога изобилия:

— https://tjournal.ru/45839-kak-bi-viglyadel-servis-airbnb-s-tehnologiei-dopolnennoi-realnosti

— https://www.producthunt.com/posts/ar-measure

Ответить

Nikita Radostev

Maxim
0

Ну честно говоря, я вот кроме линейки ещё не видел каких-то реально интересных юзкейсов, которые бы требовали использования AR, а не являлись бы в конечном счете все такой же маркетинговой игрушкой.
Трудно сказать, что до этого AR был недоступным — вон сколько SDK на выбор.
Но я надеюсь ошибаться, конечно же.

Ответить

Tim Seyfelmliukov

Nikita
0

Треккинг был настолько плох, что ощущения именно дополненной реальности (в прямом понимании) не было. Были дергающиеся, живущие своей жизнью, наложенные кое как штуки. А теперь это совершенно другой уровень.

Ответить

Настоящее Настоящая фамилия

Кирилл
0

Fair Enough (; Фейсбук кстати показывал похожую технологию внутри Мессенджера на недавнем киноуте. Теперь интресно как быстро Гугл сможет забить на Танго догнать ARKit по функционалу с камеры (без Танго)

Ответить

Igor Pospishny

0

Саша просто нереальную работу проделал, спасибо за систематизацию!

Ответить

Eugene Dev

0

Действительно отличная статья, особенно для тех, кто не в "теме"

Ответить
0

Прямой эфир

Подписаться на push-уведомления
[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjog" } } }, { "id": 10, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-250597-0", "render_to": "inpage_VI-250597-0-1134314964", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=clmf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudo", "p2": "ftjf" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fzvc" } } } ]