Как в научную библиотеку поместить целый самолёт?
Самолёт-истребитель P-39 «Аэрокобра» в натуральную величину может посмотреть любой посетитель Новосибирской государственной областной научной библиотеки, используя пространство музея в виртуальной реальности, посвящённого авиационному маршалу Александру Покрышкина.
Короткое описание
Виртуальный музей маршала Покрышкина – это интерактивное приложение виртуальной реальности, разработанное компанией VR Corp. Оно представляет собой виртуальное пространство, в котором находится реалистичная модель истребителя P-39 «Аэрокобра», на котором летал Александр Покрышкин, выполненная в натуральную величину со всеми соответствующими опознавательными знаками. В пространстве также находится фотовыставка с кадрами из различных периодов жизни маршала, а на большом экране идут биографические документальные фильмы. Все материалы взяты из электронной библиотеки маршала А.И. Покрышкина.
Проект выполнен для очков виртуальной реальности HTC Vive Cosmos и их аналогов, с возможностью отслеживания физического перемещения игрока и с двумя контроллерами для взаимодействия с виртуальными объектами.
Кто, зачем и почему?
Историю Александра Ивановича Покрышкина в Новосибирске знает каждый. Он прошёл во второй мировой войне путь от рядового лётчика истребителя до маршала авиации и стал одной из почитаемых легенд Новосибирска.
В его честь Новосибирская государственная областная научная библиотека создала «Электронную библиотеку Маршала А.И. Покрышкина».
В коллекцию включены около 200 полнотекстовых документов: книги, публикации из периодических изданий, фото и видеодокументы о жизни и боевом пути летчика-героя.
В 2020 году руководство библиотеки приняло решение взять на вооружение технологии виртуальной реальности и обратилось к нам в VR CORP с просьбой создать интересную разработку, касающуюся Покрышкина.
«Когда мы приобретаем очки виртуальной реальности и 3D-принтеры, мы понимаем, что именно эти технологии требуют привязки к местным историям и событиям. Они не должны быть оторванными. Ведь обычно те же очки виртуальной реальности покупаются, чтобы посмотреть на динозавров или чудеса света. Это прекрасно, но хочется, чтобы эти технологии были привязаны к местной истории, краеведению. И наш виртуальный музей как раз отвечает этим параметрам».
«С научной библиотекой мы дружим давно, не столько по работе, сколько по разным интересным проектам. Поэтому я сразу же откликнулся на запрос. Приняв во внимание ограничения бюджета, я предложил авторскую концепцию: пользователь находится в пустом пространстве виртуальной реальности и видит 3D-модель самолёта P-39 «Аэрокобра» в натуральную величину. На самолёте расположены небольшие информационные маркеры в виде точек. Используя контроллеры в руках, пользователь может с помощью маркеров получить доступ к информации. Концепция была быстро согласована, утверждена, и мы приступили к разработке».
С созданием модели и информационных точек мы справились относительно быстро.
Для информационных точек мы добавили интересную справку о тактико-технических особенностях самолёта.
Однако, мы бы не были VR CORP, если бы, повинуясь творческим позывам, не делали сверх запланированного объём работ.
Во-первых, мы решили изменить пустое пространство вокруг на ангар с фотовыставкой из материалов библиотеки.
Во-вторых, на заднем фоне мы разместили большой экран, на фоне которого идут документальные фильмы о биографии маршала, также взятые из материалов библиотеки. Таким образом, пользователь не только может ознакомиться с самолётом и фотоматериалами, но также на фоне его постоянно сопровождает рассказ о жизни Покрышкина.
Что под капотом?
Первым шагом стало создание 3D-модели самолёта в Autodesk 3D Max и её текстурирование согласно референсам технического задания.
Поскольку в приложении у нас планировалась использоваться фактически только одна сложная модель, то было принято решение ограничить полигональную сетку модели максимальным количеством треугольников (triangles) до 100 тысяч.
Для справки:
Меш или сетка - этими терминами называют совокупность вершин, рёбер и полигонов, которые составляют один 3D объект. Слово меш походит от английского mesh - ячейка сети. А слово сетка - от английского wireframe, что переводится как каркас/проволочный каркас.
Также иногда еще использую термин геометрия, который по сути означает то же самое, что и меш. Всё дело в том, что слово geometry (геометрия) с английского языка переводится еще и как форма.
Количество полигонов (треугольников) в полигональной сетке напрямую влияют на повышение качества 3D модели и на уменьшение производительности приложения, в котором она используется.
В техническом моделирование у нас опыт большой и проблем не было никаких, но вот номер самолёта при текстурировании вызвал споры.
Согласно официальным данным «Аэрокобра» P-39N Александра Покрышкина с бортовым (т.н. «тактическим») номером «100» имела серийный номер 42-9004. Однако на всех изображениях самолёта в номере была опущена цифра «4».
Мы приняли решение следовать визуальному образу и оставили на хвосте номер «29004».
Далее в редакторе Unity3D 2019.4 мы создали проект с использованием процесса рендеринга высокой чёткости (HDRP).
Для справки:
Unity предлагает два готовых процесса: High-Definition Render Pipeline (HDRP) и Universal Render Pipeline. Каждый из них имеет свою область применения и системные требования.
С помощью SRP можно управлять и настраивать рендеринг посредством скриптов на C#. Это позволяет не только вносить небольшие изменения, но и полностью перерабатывать и настраивать процесс рендеринга в соответствии с вашими требованиями.
HDRP предназначен для высокопроизводительных платформ, включая ПК, Xbox и PlayStation. Он позволяет обеспечить реалистичную графику в сложных сценариях. В HDRP используются технология Compute Shader и возможности современных графических процессоров.HDRP можно использовать в разработке игр высокого разрешения, автомобильных демонстраций, архитектурных и других приложений, где приоритет отдается качеству графики. HDRP поддерживает как упреждающий, так и отложенный рендеринг, и использует физическое освещение и материалы.
В последних версиях HDRP поддерживает виртуальную реальность и позволяет добиться максимально качественной графики. В сцену проекта мы добавили модель самолёта и информационные триггеры – изображения, при взаимодействии с которыми выводится информация.
Для интерактивного взаимодействия мы разработали ряд связанных компонентов, которые открывают/закрывают окна информационной подсказки, управляют цветом информационного триггера при наведении и так далее.
Для виртуальной реальности мы использовали новую систему XR Plug-in Management, пришедшую на смене устаревшей системе, настраиваемой через XR Settings. Для того, чтобы обеспечить работу с устройствами HTC Vive, мы воспользовались OpenVR - набором средств разработки (SDK) и API с открытым исходным кодом, предоставляемого компанией Valve для всех разработчиков.
Для справки:
SDK (от англ. software development kit) — набор средств разработки, позволяющий специалистам по программному обеспечению создавать приложения для определённого пакета программ, программного обеспечения базовых средств разработки, аппаратной платформы, компьютерной системы, игровых консолей, операционных систем и прочих платформ.
Программист, как правило, получает SDK непосредственно от разработчика целевой технологии или системы. Часто SDK распространяется через Интернет. Многие SDK распространяются бесплатно, чтобы побудить разработчиков использовать данную технологию или платформу.
Для ускорения процесса разработки мы воспользовались плагином SteamVR для Unity, также предоставляемого компанией Valve. Этот плагин содержит множество готовых компонентов для реализации различных видов интерактивного взаимодействия с использованием контроллеров HTC Vive, а также для системы телепортации с точки на точку.
К сожалению, все настройки плагина предназначены для проектов со стандартным рендерингом, и нам пришлось приложить некоторые усилия, чтобы изменить входящие в него материалы и шейдера.
В завершение мы создали материалы с текстурами на основе фотографий. В этот момент наша фантазия немного разыгралась, и мы решили для разнообразия воспользоваться новым трендом – нейросетями, обработав их в виде известных художественных стилей. В итоге галерея получилась довольно необычной.
В качестве вишенки на торте мы воспользовались одним из существующих компонентов Unity – Video Player. С его помощью мы наложили текстуру, созданную на основе видео, на одну из 3D-моделей, представляющих собой каркас для картин, и немного увеличили. Получился большой экран с постоянном идущим на нём кино.
Осталось только сделать пару финальных штрихов и осуществить сборку проекта.
В финале
Виртуальный музей открыт для посещения на втором этаже Новосибирской областной научной библиотеки. Его официальная презентация проекта состоялась 27 мая 2021 года в помещении Новосибирской государственной областной научной библиотеки.
На видео вы можете посмотреть, как работает приложение виртуальной реальности изнутри.
В числе первых посетителей стал заместитель министра культуры Евгений Сазонов.
«Высокотехнологичный проект библиотеки позволяет в новом современном формате узнать биографию легендарной исторической личности – Александра Покрышкина. Это первый виртуальный музей, открытый в библиотеке. Надеюсь, что такая форма подачи информации привлечёт прежде всего представителей молодого поколения, послужит мотивацией к изучению истории. Убеждён, что партнёрство государственных учреждений культуры и цифровых компаний открывает большие перспективы культурно-просветительской деятельности».
Фотографии с открытия музея (предоставлены сотрудниками НГОНБ).
Я бы просто предпочёл виртуальные экспозиции обычных музеев, пусть даже и без ВР. Но как начало неплохо.
Сам думаю также. Пытаюсь раскрутить наш краеведческий на реализацию хотя бы части экспозиции.