NVIDIA представила нейросеть, которая по фото создаёт реалистичных аватаров для видеоконференций

ИИ позволяет значительно снизить нагрузку на сеть и улучшить качество видео во время звонков.

NVIDIA представила SDK Maxine — комплект разработки на основе искусственного интеллекта, который позволяет создавать реалистичных аватаров для видеоконференций.

В показанных примерах ИИ использует статичное изображение и данные о положении ключевых точек артикуляции лица с веб-камеры говорящего, чтобы анимировать «аватара».

При использовании фотографии говорящего, отличить настоящее видео от сгенерированного очень трудно, особенно если человек не поворачивает голову.

Такой метод позволяет значительно сократить расход трафика и требования к пропускной способности интернет-соединения, что особенно важно для мобильных устройств.

При широкополосном соединении обычное видео обеспечивает более высокую детализацию и чёткость, однако при плохом соединении нейросеть вырывается вперёд, так как видео генерируется на стороне принимающего, и его не приходится сжимать.

Формально NVIDIA Maxine предназначена для экономии трафика, однако её вполне реально использовать для создания «дипфейков». NVIDIA продемонстрировала возможность заменять лицо на анимированный аватар наподобие Apple Memoji. Учитывая, что SDK Maxine открыт для разработчиков, нейросеть в теории можно заставить синхронизировать данные о мимике и артикуляции с исходной фотографией другого человека.

Maxine достаточно «умна» даже для того, чтобы выравнивать положение головы и лица в кадре исключительно своими силами. Если вас раздражает, что коллега смотрит куда-то мимо кадра, нейросеть может развернуть его более подобающим образом.

Maxine пока существует только на уровне технологии — пока неизвестно, в какие программы её могут интегрировать в будущем.

В начале сентября состоялся релиз NVIDIA Broadcast — набора инструментов для стримов и видеоконференций, которые позволяют устранять лишние шумы, размывать или убирать фон видео при помощи нейросетей.

#новости #nvidia