NVIDIA представила платформу для создания аватаров — с моделированием жестов, мимики и голоса в реальном времени

В рамках конференции GTC 2021, которая проходит с 8 по 11 ноября, NVIDIA анонсировала технологическую платформу Omniverse Avatar, предназначенную для создания виртуальных персонажей с функциями искусственного интеллекта.

Разработка сочетает в себе ряд технологий в области компьютерного зрения, распознавания речи, 3D-графики и рекомендательных алгоритмов. Интерактивные аватары могут разговаривать на различные темы и понимать собеседников.

Генеральный директор NVIDIA продемонстрировал несколько примеров. Сначала анимированная версия Дженсена Хуанга в реальном времени ответила на вопросы коллег из области биологии, астрономии и химии.

Затем виртуальный помощник на кассе самообслуживания в ресторане рассказал посетителям о меню и уточнил состав выбранных блюд. Благодаря функции отслеживания лиц ассистент поддерживал зрительный контакт с покупателями и реагировал на их эмоции.

Наконец, NVIDIA смоделировала аватар женщины во время сеанса видеосвязи в шумном кафе. Её мимика и слова в реальном времени транслировались на немецкий, французский и испанский языки, передавая оригинальную интонацию без посторонних звуков.

Это стало возможно благодаря набору SDK NVIDIA Riva и языковой модели Megatron 530B. Они поддерживают несколько языков (русский — частично) и позволяют генерировать «человеческие» голоса за 30 минут.

Все инструменты стали частью открытой платформы NVIDIA Omniverse, которая находится в стадии бета-тестирования и насчитывает около 70 тысяч пользователей.

В отличие от концепта «метавселенной» от Meta (бывшей Facebook), направленного на перенос встреч в виртуальную реальность, NVIDIA рассматривает взаимодействие аватаров и пользователей в реальном мире. Пока не ясно, насколько эффективной и точной окажется технология — по словам Хуанга, время отклика персонажей составляет около двух секунд.

Полная презентация доступна на официальном YouTube-канале NVIDIA.