Аниме
Анимемания
4286

Нейронные сети научили генерировать лицевую анимацию на основе статичного изображения и записи голоса

Программы искусственного интеллекта в последние годы становятся все совершеннее и начинают активно использоваться в различных сферах жизни человека. Современные нейронные сети способны на многое даже в области искусства: от раскрашивания черно-белых рисунков до создания из схематичных набросков фотореалистичных изображений.

И теперь нейронные сети научили автоматически генерировать анимацию разговора на основе всего лишь статичного изображения и записи голоса. Компания AlgoAge Co., Ltd представила свои наработки 6 августа. В пресс-релизе компании говорится, что их программа «Deep Anime» уже сейчас способна обеспечить плавную анимацию, включающую в себя движение рта и мигание.

По заявлениям AlgoAge Co., Ltd их программу уже можно использовать как в развлекательных целях, добавляя голос к любому изображению, так и для создания минимально необходимой лицевой анимации в нетребовательных к этому компьютерных играх, что снизит затраты на их создание.

Материал опубликован пользователем.
Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Написать
{ "author_name": "Анимемания", "author_type": "self", "tags": [], "comments": 67, "likes": 137, "favorites": 104, "is_advertisement": false, "subsite_label": "anime", "id": 63672, "is_wide": false, "is_ugc": true, "date": "Tue, 13 Aug 2019 07:00:08 +0300", "is_special": false }
Объявление на DTF
Новые вакансии в Loóna (ранее MSQRD)
Подкаст «Жиза ГД»: Безупречный баланс
Слушать фоном🎧
0
{ "id": 63672, "author_id": 127107, "diff_limit": 1000, "urls": {"diff":"\/comments\/63672\/get","add":"\/comments\/63672\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/63672"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 64956, "last_count_and_date": null }
67 комментариев
Популярные
По порядку
Написать комментарий...
64

То-то у аниме богатая лицевая анимация.

Ответить
38

Такими темпами лет через 5 вьетнамцы останутся без работы.

Ответить
0

Буду что-нибудь ещё "умное" делать, или фиксить что-то умное что ломается.

Ответить
0

Будут обучать ИИ распознавать объекты мира на Яндекс.Толоке
Да и всех нас это ждёт в будущем - учить ИИ, на котором держится весь мир О_о

Ответить
26

У меня есть лишь один вопрос - кто то уже засовывал туда ахэгао рожи ?

Ответить
17

аниме

лицевая анимация

Ору

Ответить
9

потише можно, у меня еще все спят!

Ответить
1

НЕТ!

Ответить
0

Скачай Асобе Асобасе и не ори ( ͡° ͜ʖ ͡°)

Ответить
0

...или наверни любой актуальный тайтл Шафта, множество их
( ͡° ͜ʖ ͡°)

Ответить
1

Шафт только шеи выворачивать умеет

Ответить
0

Как раз нет. Шафты - перфекционисты в этом смысле. По крайне мере там, где дело касается классических тайтлов Симбы. Мимические карты от 40-50 патернов.

Ответить
0

Поясни за него, почему я должен смотреть именно его, кем ты хочешь видеть меня после просмотра этого тайтла?

Ответить
0

Ты просто не смотрел Онизуку.

Ответить
0

А чтобы это изменило? Я бы его прочитал лучше.

Ответить
0

Речь же про лица, не? У него там до дури разных.

Ответить
1

А в смысле мимики. Ну да, только вот это просто смена шаблона считай. Он же не обладает настоящей мимикой, один раз рожу скорчит, а потом просто губы шлепают и все.

Ответить
0

У людей подавляющую часть разговора тоже просто губы шлёпают.

Ответить
0

Ты с людьми мало говоришь. У нас мимика постоянно работает. А вот у 2д персонажей ее почти нет, редкие статичные гримасы и все. В реальности столько всего с лицом происходит, что аж жутко когда задумываешься.

Ответить
1

Всё вот это "столько всего" настолько незначительно, что забывается через минуту. А запоминаются именно гримасы, выражающие всякие там злость, боль, удивление и т.п.

Ответить
0

Тогда бы актеров не учили в школах, а выдавали бы листок какую рожу скорчить

Ответить
1

Из того, что это забывается не следует, что отсутствие этого не замечается. Но т.к. аниме в принципе уступает реалистичной картинке во всех возможных аспектах, то ничего страшного нет в отсутствии микромимики.

Ответить
10

Ну это анимация конечно уровня всяких дешёвых хентаев где просто вместо нее картинку тянут

Ответить
0

Ну обновления проги скорее всего подымут правильную анимацию, развитие не остановить.

Ответить
–18

так и для создания минимально необходимой лицевой анимации в нетребовательных к этому компьютерных играх, что снизит затраты на их создание

А пипл, я так понимаю, всё равно схавает. Гаремники\моэту\исекаи хавают же.

Ответить
–3

это белка

Ответить
8

это белка

Ответить
6

каюсь, это луговая собачка

Ответить
1

минимально необходимой лицевой анимации в нетребовательных к этому компьютерных играх

ИГРАХ

Говорит про аниме. Мда

Ответить
0

Мммм а чем это отличается от того что можно было сделать в афтере за пару кликов. Взаимодействие геометрии со звуком в автере есть уже давно моргание добавить . Тем более скорее все есть ассеты с куче крутилок и комбинаций анимаций. Хотя кейс - закинул картинку и звук и не парься

Ответить
9

Всякие маски из снэпчата тоже можно афтером сделать, и ещё кучу всего можно афтером сделать. Но афтером надо уметь пользоваться, хотя бы иметь представление. А нейросеть это штука с входом и выходом, one-click и никаких умственных усилий, квалификации и т.д. - идеально для потребительского продукта.

Ответить
4

На самом деле нужна связка, хотя и без афтера можно обойтись.

Ответить
0

До чего техника дошла

Ответить
0

Какая же жесть ))

Мне кажется софт для процедурной генерации такого уровня можно за пару дней написать без всякого машинного обучения ))

Ответить
7

звучит как "зачем учить сына чинить стул, если можно сделать самому и быстрее?"

Ответить
0

Это у тебя какой, первенец? Не, уже вторая нейросеть, жду материнский капитал.

Ответить
1

Нейросети только для аниме и порноиндустрии развиваются?
Читал давно статью, что порно развивала киноиндустрию, но теперь начал задумываться всерьез...

Ответить
4

Фактически так и есть. В бородатые года(до ютьюб) на порно приходилось % трафика. Провайдеры обновляли оборудование, чтобы выдерживал канал, а люди переходили на тарифы всё с большей скоростью, чтобы это самое порно качать.

Ответить
1

Читал что-то про то, что именно порнофильмы повлияли на то, какую кинопленку следующего поколения использовать.

Ответить
3

Там про формат кассет. Победил VHS в том числе потому что не запрещали на кассетах этого типа распространять прон, в отличие от сонивского бетамакса.

Ответить
0

Это работало в штатах. В восточной Европе сразу начали оптику всем проводить и без порно.

Ответить
0

Оптику проводили без порно? Какое ужасное злодейство!

Ответить
1

Оно конечно прикольно.
Но пиздец как всрато выглядит.
Даже для китайских порно мультиков всрато.
Как и большая часть процедурной анимации через deeplearning

Ответить
2

Вообще довольно простая херня же. Нарисовать хуеву тучу ртов и прога уже по таблице рот/звук выстроит липсинк, охуеть достижение. Только здесь ваще без привязки к звукам, а тупо открытие рта. Такое блять и без нейросетей легко сделать.

Ответить
0

Ждем онлайн сервис с встроенной нейросеткой, генерирующей вайфу целиком (с лицом, анимацией и голосом), и опционально высылающий говорящую подушку (а-ля яндекс колонка) по почте. Денис?

Без шуток, я думаю нечто подобное уже есть в Японии.

Ответить
5

2025 год. Нейросеть научили писать скрипт и снимать аниме лучше, чем это делает половина студий в сезоне.

Ответить
0

Облегчит работу аниматоров. 👍

Ответить
2

Чем? Судя по тому что только рот растягивается и глаза моргают, то я даже не уверен что для этого прям нужны нейросети (разве в голос попадать).

Ответить
0

Да и чтоб в голос попадало, достаточно написать обычную прогу. Нахер тут нейросети - я тоже не понял.

Ответить
0

Лицевая, что?

Ответить
0

Липсинк же уже тысячу лет существует и не только с 2д применяется. И результаты там получше этого будут.

Ответить
0

Чувствуется, что графических новелл на движке Ren'Py (ну или другом) станет теперь в разы больше...

Ответить
0

Для VN подойдёт вполне

Ответить
0

Жду времена, когда прокатчикам будут отдавать лишь видео и текст, а ИИ будет заниматься проблемами липсинга при озвучке фильмов/мультфильмов на другие языки...

Ответить
0

Ну все, теперь минус переработки в аниме индустрии, легким движением руки решаем любую проблему этого мира

Ответить
0

Ещё сотня художников в Японии осталась без работы.

Ответить
0

Иронично, что всё это уже было реализовано Ion Storm ещё в 2000 году (если кто не знает, в Deus Ex лицевая анимация автоматически подстраивается под звук).

Ответить
0

Быстрее бы уже нейросети начали клепать аниме, что бы навсегда уже отделить людей без вкуса от остальных

Ответить
0

Кто знает, что за трек играет в ролике?

Ответить

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fizc" } } }, { "id": 4, "label": "Article Branding", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "cfovz", "p2": "glug" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-250597-0", "render_to": "inpage_VI-250597-0-1134314964", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=clmf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Баннер в ленте на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudo", "p2": "ftjf" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fzvc" } } } ]