Нейросеть будущего
Учёные из Alibaba показали нейросеть способную с вами общаться в режиме видео с миллисекундной задержкой. А это означает, что никаких ограничений по анимациям.
Нейронка называется Wan-Streamer. Её релиз ещё не состоялся, это пока исследовательский проект.
Ключевые особенности технологии:
1. Единая архитектура
Традиционные голосовые ассистенты с видео-аватарами работают как «цепочка» независимых программ (детектор голоса\ распознавание речи\языковая модель\генератор голоса\генератор мимики). Это создает задержки на стыках модулей и накапливает ошибки. Wan-Streamer устроен иначе: обработка текста, звука и видео происходит внутри одного общего Transformer. Модель воспринимает и генерирует данные как единый непрерывный поток.
2. Полнодуплексный режим
Аватар умеет слушать и говорить одновременно. Он может адекватно реагировать на то, что его перебивают (вовремя замолчать), или совершать естественные невербальные действия (например, кивать головой, пока слушает пользователя).
3. Минимальная задержка
Время ответа на стороне самой модели составляет всего около 200 мс. С учетом стандартных сетевых задержек (около 350 мс в обе стороны) общее время ожидания для пользователя составляет около 550 мс, что делает диалог практически неотличимым от живого видеозвонка.
4. Двухуровневая обработка
Чтобы не перегружать видеокарты, авторы разделили логику работы:- «Мыслитель» (Thinker) — работает на одной GPU, отвечает за быстрое распознавание действий пользователя, обработку текста и логику диалога.- «Исполнитель» (Performer) — задействует несколько GPU параллельно для генерации и отрисовки тяжелых кадров видео в высоком разрешении.
5. Версия v0.2 (июль 2026)
В обновленной версии v0.2 разработчики увеличили разрешение генерируемого аватара с 192x336 до 640x368 при частоте 25 FPS без увеличения задержки. Это позволяет ИИ-ассистенту полноценно жестикулировать, передавать взгляд и взаимодействовать с окружающими предметами в кадре.
Кстати, пару дней назад я выкладывал свой тест похожей нейронки, но более примитивной: