Как нейросети создают персонажей и киновселенные

Искусственный интеллект давно вышел за рамки инструмента для поддержки разговора через чат, активно внедряясь во все новые сферы жизни – управление транспортом, создание полноценных картин и музыки, написание дипломных проектов и многое другое. Киноиндустрия не стала исключением.

Первые удачные эксперименты по привлечению искусственного интеллекта для написания сценариев были проведены еще 2016 году в рамках работы над фильмом Sunspring. Это была короткометражка для кинофестиваля Sci-Fi London, причем проект подразумевал создание фантастического фильма всего за двое суток. Такое жесткое ограничение и натолкнуло авторов на идею использовать нейросеть Benjamin.

Позднее ИИ привлекли еще для двух сценариев – фильмы It’s No Game и Zone Out. На этом этапе уже чувствовался прогресс, но качественной работу назвать было сложно, поскольку реплики нередко были просто бессмысленными. Даже сегодня сложно сказать, смогут ли программы полностью заменить людей при написании полноценных сценариев.

Финансовый аспект

Современная киноиндустрия тесно связана с коммерческой составляющей – на начальном этапе обязательно анализируются расходы и ожидаемая прибыль. Без наличия перспектив проект просто не будет запущен. Оказалось, что с данной работой вполне может справиться нейросеть, поскольку данных для обучения достаточно.

В 2020 году специалисты Warner Bros в тестовом режиме начали использовать возможности нейросети для прогнозирования коммерческой прибыли новых фильмов. Результаты использовались для выбора проектов, которые необходимо финансировать в первую очередь. Известно, что ответственная роль досталась программному комплексу от компании Cinelytic. Программа позволяет анализировать влияние отдельных факторов на успех картины – сокращение длительности, смена актера, используемая музыка и т.д.

Представители киностудии отметили, что нейросети пока имеют массу ограничений, поэтому их привлекают только для относительно простых задач, включая сбор и анализ информации.

Визуальные эффекты

Нейронные сети привлекают для создания спецэффектов или отдельных персонажей. В качестве примера можно привести использование ПО для создания образа Таноса (лента «Мстители: Война бесконечности»). Специалисты использовали для этого два типа сканирования: неподвижное и сканирование в движении. В последнем случае использовалась технология от Disney Zurich Research Labs.

На начальном этапе при помощи специального шлема с камерой формируется сетка движения лица. Камера имеет низкое разрешение и предназначена только для формирования набора данных, который передается нейросети для создания аватара с высоким разрешением. Полноценное обучение алгоритма позволяет ему передавать все детали мимики, даже движение небольших мышц.

В российском сегменте нейронные сети также начинают привлекать в киноиндустрию. Нашумевшую технологию дипфейк использовали для изменения возраста Павла Майкова в популярном сериале «Контакт». Для обучения алгоритма использовали сцены из старых фильмов.

Аналогичные преобразования используют и для изменения телосложения актеров в процессе создания фильмов. Павлу Прилучному при помощи технологии дипфейк помогли «сбросить» вес до 36 килограмм. Для реализации актеру сделали МРТ, сохранив все компоненты тела: кожу, жир, скелет, мышечную ткань. Далее собранные данные использовали для создания точной цифровой копии, которую потом модифицировали, сделав стройнее. При помощи нейросети аватар использовали для подмены реального актера в процессе создания фильма.

Комфортный просмотр

Нейронные сети используют и для менее важных задач. Например, многие онлайн кинотеатры предоставляют пользователям возможность быстро пропустить титры в сериалах. ПО предварительно анализирует все серии и выделяет наборы одинаковых кадров, что и позволяет выделить начало и конец заставки. Данную операцию проводить вручную просто нерентабельно, поскольку крупные площадки имеют в каталоге огромное количество фильмов и сериалов.

Еще одна полезная функция – автоматическая генерация постеров. Многие пользователи и не подозревают, что обложки к описаниям фильмов также могут создаваться при помощи ИИ. При этом контент создается на основе основных моментах ленты – значимые сцены, главные герои, основная сюжетная линия, стиль и т.д.

Смогут ли роботы всех заменить??

Несмотря на активное распространение инструментов на базе искусственного интеллекта в различные сферы, не стоит ожидать тотальной замены реальных специалистов. ИИ невозможно качественно обучить и настроить без участия человека – оно основано на массиве данных, полученном от специалистов в конкретной области. Корректность полученного ответа во многом зависит от составленного запроса, а для этого необходимы знания в соответствующей области.