Gamedev
Влад Демин
4000

Какие нейросети уже сейчас можно использовать для создания видеоигр?

Многих людей мучают два вопроса:
«Когда там нейросети захватят наши рабочие места?» и «Как с помощью нейросетей можно упростить себе жизнь?».
О первом умолчим, а вот о втором поговорим поподробней, дорогие индюки.

В закладки
Слушать

Как не сложно догадаться, нейросети довольно гибки в генерации чего либо. В данной статье мы рассмотрим несколько нейросетей, которые буквально после перехода по ссылке можно брать и использовать для разработки какого либо проекта.

Нейросети распределены по их «применимости», т.е. по тому, как легко их использовать и, при этом, по тому, как много она может вам дать.

Список нейросетей:

Artbreeder

Портреты персонажей и их анимация, Пейзажи, Дизайн персонажей, Предметы

Artbreeder — Нейросеть, возможно, имеющая наибольшую гибкость в плане выдаваемого контента. Наиболее хорошо натренирована на создание портретов, однако, так же её можно использовать для создания пейзажей и дизайнов персонажей.

Портреты персонажей

Женские портреты:

Мужские портреты:

«Нечеловеческие» портреты:

С помощью напильника это несложно превратить во что то неплохое (тут это был Ostagramm + Sai2):

Анимация портретов

Так же есть возможность создать видео, где один портрет медленно перетекает в другой. Самое очевидное использование этой возможности это создание подобия липсинка.

У этого включите звук я искренне заебался её делать

Пейзажи

Дизайн персонажей

Amper Score

Музыка

Учитывая, что музыка пишется по довольно конкретным законам, существуют нейросети, которые занимаются генерацией музыки.

Amper Score — Наиболее качественный и удобный в использовании генератор музыки. За основу в ней берётся некий сэмпл, на основе которого генерируется трек. После этого, вы можете настраивать ваш трек путём изменения инструментов, bpm и ремикширования музыки.

Примеры работы:

Данный трек напоминает саунд из игры Hades, и вполне мог бы использоваться как одна из музыкальных тем уровней.

Этот же трек, в свою очередь, напоминает музыку из Sims, используемую в режиме выбора города или строительства.

Благодаря тому, что разработчики Life is Strange — те ещё любители инди, этот трек вполне уместно мог бы смотреться в альбоме саундтрека игры.

WaifuLabs

Аниме портреты персонажей

WaifuLabs — Нейросеть позволяющая генерировать аниме персонажей. Устроена довольно просто. Есть 4 слоя, которые вы проходите по очереди, и каждый слой генерирует новое изображение, на основе выбранного вами изображения на прошлом шаге.
Сначала вы выбираете основу для персонажа, потом меняете ему цвета, и дважды выбираете один из заново сгенерированных вариантов персонажа. Кроме того, каждый из шагов можно пропустить, тем самым сохранив персонажа.

Если вы — аниме, то и ваши персонажи должны быть аниме.

Время какого-то странного дерьма

Ну, это тоже можно назвать «использованием в разработке», верно?

Ostagram

Фильтры для изображений, перерисовка изображений в другом стиле

Ostagram — Одна из многих нейросетей, применяющих стили одних изображений к другим, появившихся после появления Prisma.

Так, всем нам известный логотип можно превратить в это:

This Fursona Does Not Exist

Фурри… аниме… портреты персонажей

This Fursona Does Not Exist — нейросеть, которая позволяет создавать персонажей разной степени «фуррёвости». Сайт представлен в виде постоянно двигающегося полотна картинок, в котором можно выбрать и открыть любой из проплывающих мимо портретов. Как я понимаю, все изображения были сгенерированы заранее, поэтому на процесс генерации мы никак повлиять не можем. Проблема в том, что нет никаких настроек, которые хотя бы фильтровали бы эти изображения.
Вообще, если вам нужен персонаж-зверёк, или же… вы пошли по кривой дорожке, это крайне полезный вам сервис.

First Order Motion Model for Image Animation

Анимация лиц персонажей

First Order Motion Model for Image Animation — Нейросеть, которая позволяет анимировать любые лица персонажей, т.е. вам никто не запретит использовать тут лица из других нейросетей.
Одной из проблем является не столько нейросеть, сколько тот факт, что она находится на не совсем удобном для использования коллабе (штука, которая позволяет вам не мучиться с пайтоном, например, при работе с той же нейросетью, так что это меньшее из зол). А ещё вам нужно квадратное видео… в эру телефонов. Благо, это дело стоит того.

Вот тут я, например, использовал сгенерированное в Artbreeder изображение.

ДТФ - супер Как же иначе
Исходное изображение

MuseNet

Музыка

MuseNet — Гораздо менее удобный генератор музыки, однако, всё ещё имеющий довольно широкие возможности.
Главной проблемой является то, КАК генерируется трек. А генерируется он маленькими кусочками, и, при этом, за время, когда сгенерируется один этот маленький кусочек, вы можете уже закончить делать трек в том Amber Score.

Neural Composer

Музыка

Neural Composer — полумера, позволяющая вам создавать пресет, который вы потом без особых проблем могли бы редактировать в FL Studio. Как плагин для оного, как по мне, он смотрелся бы лучше.

Тут нет примеров, которые вы так ищете…

Чтож, на этом всё, спасибо за внимание.

Look at my post, My post is amazing!
{ "author_name": "Влад Демин", "author_type": "self", "tags": [], "comments": 73, "likes": 129, "favorites": 411, "is_advertisement": false, "subsite_label": "gamedev", "id": 129084, "is_wide": false, "is_ugc": true, "date": "Thu, 28 May 2020 15:59:52 +0300", "is_special": false }
0
73 комментария
Популярные
По порядку
Написать комментарий...
9

А чо по правам на контент?

Ответить
3

Amper Score делает какую то дичайшую хрень с правами. 74$ - один трек (есть вариант за 1199$ с раскруткой трека).

До сих пор понять не могу, почему права остаются за тем, чьим инструментом ты пользуешься.

Ответить
5

А что по остальным? Я хотел заняться генерацией музона для фоновой херни, а тут такое.

Ответить
8

MuseNet, вроде бы, позволяет скачивать и использовать без проблем. Если зальёшь в саундклауд, то ещё и по плечу похлопают, и, возможно, на сайте ссылку оставят.

Neural Composer - полностью свободный.

Ответить
2

Спасибо.

Ответить
1

Есть ещё этот вариант, подешевле. Все права на скачанные треки во время подписок, которые позволяют коммерческое использование, остаются за пользователем после окончания подписки. По сути, это найм AI композитора за плату, но тут уж как кому нужно.

Ответить
2

Слишком платно

Ответить
0

(Можно сгенерить музыку в Amper Score, скачать аудасити, и через WASAPI скачать трек).

Ответить
2

А не спалят использование трека?

Ответить
0

¯\_(ツ)_/¯

Ответить
0

Быстрые ноги ударов не боятся.
Для начала им надо доказать, что это их трек. 

Ответить

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

0

Нейронка по большому счету это упрощённый интерфейс.
Там ТЫ используешь инструментарий, ты её обучаешь, ты загружаешь семплы и регулируешь.

Следовательно, они не должны иметь прав на эту работу от слова вообще.
ЭТО равносильно тому, что я буду делать 3Д модель, и по завершении должен буду платить 75 баксов чтобы её выгрузить и импортировать в юнити.

Просто законодательная система к такому не готова. Поэтому однозначно последнее слово в суде будет за создателями нейронки, пока не начнут появляться прецеденты.

Ответить
2

Формально нейронка это инструмент, и если вы не платите за её использование изначально, логично, что права на произведение остаются у создателия инструментария. Вы же не ругаете автокад, что он просит денег, когда вы рисуете в нем чертежи на работе) (ну да ну да, кто-то может даже удивиться про акад и деньги)
Так что...
равносильно тому, что я буду делать 3Д модель, и по завершении должен буду платить 75 баксов чтобы её выгрузить и импортировать в юнити.

Я не уверен как обстоят дела с 3д, но полагаю всяческие "блендеры" явно стоят денег.
Нет, конечно побаловаться можно и бесплатно, но не удивляйтесь, что когда вы зальете созданную модель в коммерческий проект к вам постучат "4-ро крепкий японцев" и попросят отчисления за пользование инструментом.

Ответить
2

отчисления за пользование инструментом.

Ни разу не видел такой херни как "отчисление за инструмент" (не считая игровых движков, но там немного другая ситуация, там ты платишь за то, что ты продаёшь часть движка, которая находится в твоём проекте).

Авторское право за мной, независимо от того, где я сделал контент... НО, каким то образом, я не владею исключительными правами на использование сгенерированной в сервисе музыки. Вот это и странно, потому что я создал штуку, и за мной уже закреплены как авторские, так и исключительные права.

Их максимум, по идее - подать в суд за использование пиратского ПО, но, даже если бы я воспользовался пиратским ПО, права на то, что я в нем сделал - уже мои.

Ответить
3

Тебе только кажется что ты создал что то. Нейросеть не генерит уникального контента она генерит нечто усредненное между загруженными в нее образцами.  Просто усреднение происходит через хитрую формулу. 
На самом деле на создателей нейронки можно подать в суд если итоговое изображение или звук окажется на более чем 80% похоже на изначальное. А такое поверьте бывает часто

Ответить
2

Вообще кстати интересный момент, вот например так нейросеть что генерит портреты - когда собирали датасет, у каждого ли автора спрашивали разрешение на использование его арта в качестве сэмпла? Тут же почти та же тема что в фотобашем, а там нужно спрашивать разрешение/покупать лицензию картинки. Оно конечно смешивает картинки и вроде это уже совсем другая картинка, но я хз, иногда в результатах прям видно с какого художника это слизано.

Ответить
0

Молодые фотобашеры работают по принципу : накидаю разных фоточек авось никто не опознает исходник.  И да у каждого свои хитрые приемы. И все рано или поздно кто то обленитсч и палится и попадает как авторы обложки к "очень странные дела"

Ответить
0

На самом деле обвинить в плагиате может или сам автор/владелец исключительных прав или нужно собирать экспертный совет, что почти никто не делает 

Ответить
1

Я писал нейронки, дядь. Простецкие, но писал. Я знаю про датасеты.

Я про то, что если прога сгенерила штуку, по "формуле", которую я не знаю, это не делает автора программы автором контента.

Ответить
1

Обучение происходит неявно для тебя . Да ты можешь по смотреть на каждые коэффциенты того или иного нейрона. Но по сути по итогу ты получаешь огромную экспертную систему из if/else которая генерирует на узлах разные показатели пока результат обучения не начинет совпадать с ожидаемым результатом. 
То есть физически нейронка это не более чем огромная формула куда мы запихиваем изначальные даннве результат, а она на него натягивает на эти данные- образцы на которых ее обучили. 

Ответить
2

где я сделал контент...

Мне кажется тут самый главный подводнвй камень. Контент создаете не вы. По сути это ничем не отличается от работы с вольным художником которому вы кидаете 3 картинки со словами "хочу что-то такое" а потом бесконечно мучаете его правками. Только художник в данном случае не кусок мяса, а потом электричества (а точнее кусок мяса, который этому электричеству задал правило).
даже если бы я воспользовался пиратским ПО, права на то, что я в нем сделал - уже мои

А вот это интересный вопрос. Тоесть да, по человеческим меркам конеяно вы создатель... Но с юридической точки зрения мне интересно можно ли в таком случае отозвать авторство)

Ответить
4

даже если бы я воспользовался пиратским ПО, права на то, что я в нем сделал - уже мои

А вот это интересный вопрос. Тоесть да, по человеческим меркам конеяно вы создатель... Но с юридической точки зрения мне интересно можно ли в таком случае отозвать авторство)

Простите, что вмешиваюсь :)
Такое разбиралось на уроках по "авторскому праву" в институте.
Модель в пиратской Майе, Арт в пиратском фотошопе, или даже Игра в пиратском движке. Авторское право остаётся непосредственно у создателя Модели, иллюстрации, игры. 

А само использование пиратского ПО наказуемо (если будет доказан факт использования), но применяется в основном только к коммерческим организациям. А вот вмешивание, например, в защищенный патентом код движка уже вполне себе уголовно наказуемо - Процесс мы сейчас можем наблюдать между Crytek и Cloud Imperium games.

Ответить
0

Степан!?

Ответить
0

Нет, прошу прощения, вы обознались :)

Ответить
2

 Контент создаете не вы

Я, с помощью инструмента. Пока что, законодательно, автором чего-то может являться только человек. Куча строк кода не имеет возможности пользоваться своими авторскими или исключительными правами.

Ответить
3

автором чего-то может являться только человек...

... Который написал нейронку)))

Ответить
0

Пфф, он не факт что даже знает о существовании той вещи, которую я создал. Т.е. он в создании непосредственно контента не участвовал.

Ответить
1

не факт что даже знает о существовании той вещи, которую я создал.

Если вы запишите храп человека, кто будет являться автором?) храпящий или записывающий храп?)

Ответить
1

Софистика.
автор произведения — это физическое лицо, творческим трудом которого создано произведение.

Ответить
2

Я понимаю, что это софистика, но вопрос остается вопросом.
Хорошо. Пойдем по шагам.
Если вы заказываете арт художнику с кистью и мольбертом, кто автор?
Если вы заказываете арт художнику с фотошопом, кто автор?
А если вы заказываете арт художнику с фотошопом, который как booslogic просто мешает и чуть обрабатывает реальные фотки, кто автор?
А если вы заказываете арт художнику, который как bosslogic, но при этом он автоматизировал свою работу скриптами?
А если вы заказываете художнику который как bosslogic, но при этом он автоматизировал скриптами не только работу, но и прием заявок?

Почему неожиданно в последней итерации авторское право переходит от художника к заказчику? Плюсом в большинстве нейронок есть возможность "выкупить" арт и права на него. (ну ок, в большинстве из которых я сам трогал)

Ответить
1

Если я "заказываю" арт у человека, то, по идее, я получаю у него хотя бы исключительные права на использование.
Только здесь речь о человеке, который может быть автором, а программа нет. Как человек, создавший фотошоп не будет владеть артом, который ты нарисуешь с бодуна, так и автор нейросети не должен иметь ни авторского, ни исключительного права на трек.

Ответить
3

За любой нейронкой юридически должен стоять её создатель, иначе никакого разговора о "юрилических" правах нет и в поминет. Нейронка без создателя за неё отвечающего как бы не может требовать денег и прав.
Теперь еще пример, если позволите.
Вы скидываете мне фото. Я обрабатываю его собственным набором пресетов в 1 клик.
По сути у кого права на использование? Вы не можете использовать обработанное фото в коммерции без моего разрешения. Я не могу использовать обработанное фото без вашего разрешения, ибо у вас остались исклбчительные права на оригинальное изображение.
Ведь правильно? Я ничего не упускаю?
Собственно ничем не отличается от принципа нейронки. Почему при работе с ней вы выкидываете из уравнения человека, который за ней стоит - я исключительно не понимаю.

Ответить
2

Замечательный момент, когда я отказываюсь оставлять свою точку зрения, но я не могу игнорировать силу вашего аргумента.
С одной стороны я согласен, что если я создам гитару, дам её вам и вы на ней сыграете песню - песня естественно ваша, а гитара просто инструмент, на котором вы посредством творческих манипуляций созидаете.
С другой стороны я не согласен, что если я создал скрипт обработки, а вы без творческих манипуляций создали на его основе новый продукт - права останутся у вас. Они как минимум должны быть смежными. У вас как у обладателя оригинала. У меня как у автора обработки.

Боюсь с человеческой точки зрения тут дебаты на долгий вечер. А с юридической точки зрения у нас говно, а не цифровое авторское право)
Если вы дадите предложение, а нейронка допишет рассказ, кто его автор? Вы или человек стоящий за нейронкой?
Зависит ли это от степени участия нейронки? Напишет ли она 1 строчку или 90% текста?
Не согласен с точкой зрения, но в чем то вы правы.

Ответить
0

На припере текста не прокатит. Нейронка допишет текст по образцу на которых ее обучали. Чем больше % теста относительно оригианального, тем больше шанс что системы антиплагиата будут палить. Может и не в пользу изначальных авторов, чьи тексты скормили нейросети,  а в пользу тех кто первыми этой нейросеткой воспользлаался.

Ответить
1

Не совсем так. Если человек закинет это в прогу, то авторское право остаётся за ним, НО своё исключительное право он передаёт вам за деньги.

Тип, если я в фотошопе использую какую-то функцию, которая есть исключительно в фотошопе, то теперь владелец фотошопа = владелец изображения, ты к этому ведёшь?

Ответить

Замечательный

Влад
1

Авторское право за мной, независимо от того, где я сделал контент...

Хрен бы там :) Если лицензия на инструмент отдает тебе права на то, что ты с помощью него сделал - то да, оно твое.

Ответить
0

Можно примеры лицензий, где происходит обратное? Ни разу в жизни не встречал подобного.

Ответить

Замечательный

Влад
1

Любая лицензии на некомерческое использование дает тебе лишь частичные права на использование контента.

Так что бы у тебя не было прям никаких прав - это специфические сферы. типа редактора карт для варкрафт рефорджед, например ))

Ответить
1

Нет, именно блендер денег не стоит. Полностью бесплатный продукт. Кажется даже с открытым кодом, чтобы любой мог свободно писать модификации.

Дело в том, что если бы условно говоря эту нейронку продавали (например в стиме, как Substance Painter), никаких вопросов бы не было. Купил, пользуйся. 

А в данном случае, мы имеем ситуацию "Сделал таблицу в Google Docs" и тебе нельзя её использовать на работе, потому что она не твоя. И для меня это дикость.

Ответить

Замечательный

Neogrimm
1

"Сделал таблицу в Google Docs" и тебе нельзя её использовать на работе, потому что она не твоя

Доброе утро, так работает почти весь софт последние 30 лет. Для коммерческого использования всегда есть отдельные  лицензии.

Ответить
3

так, мы все ушли не в ту степь:)
Вернёмся к началу. "Разработчик - Вот у меня есть нейронка для создания музыки. Я - Ок. Разраб - Могу продать за 1к и работай. Я - ок." - Это нормально.

Но
 "Разработчик - Вот у меня есть нейронка для создания музыки. Я - Ок. - Но вся музыка, которую ты создашь принадлежит мне, потому что я создатель нейронки. И ты платишь мне чтобы я разрешил тебе забрать права на ТВОЮ работу" - И вот это, по моему мнению, НЕ нормально.
Вопрос изначально был не в деньгах, и не в платно/бесплатно. Кому-то возможно покажется что и там и там потеря денег и разницы нет. Но, а для меня разница в этих двух примерах колоссальна.

Ответить

Замечательный

Neogrimm
0

Я так могу сделать даже для текстового редактора. И?

Ответить
1

В основном, эти лицензии касаются того, что ты можешь заплатить n-ую сумму, и использовать ПО на огромном количестве устройств, чтобы не платить за каждую лицензию отдельно, нет?

Ответить

Замечательный

Влад
1

Нет конечно, в основном эти лицензии касаются коммерческого и некоммерческого использования.

Типа, для некоммерческого использования платишь 20 баксов, или не платишь вообще. А для коммерческого - платишь 200, или вообще оплачиваешь подписку.

Ответить
1

 Нет, именно блендер денег не стоит.

Всё же странно сравнивать работы сделанные нейросетями, где вы лишь задали условия, с блендером, где обычно вы сами всё делаете.
Так что нет, нейросети - не инструмент, а больше услуга в данном случае.

Ответить

Замечательный

Neogrimm
0

А в данном случае, мы имеем ситуацию "Сделал таблицу в Google Docs" и тебе нельзя её использовать на работе, потому что она не твоя.

Кстати, нельзя, если у вас не коммерческий G Suite.

Ответить
1

ты её обучаешь

Неужели? Если ты всё и так делаешь за них, то почему бы тебе не создать нейросеть с нуля и не использовать её?
Нейронка — это проработка архитектуры, обучение её на огромном массиве данных и огромные вычислительные затраты. Ради того, чтобы конечный пользователь смог загрузить сэмпл, подвигать пару ползунков и получить трек. И, разумеется, разработчик программы имеет право давать пользоваться ею на любых удобных для него условиях, хоть взымая плату за каждый созданный трек. Если он при этом слишком обнаглеет, его порешает рыночек.

Ответить
0

Разница только в том что ты платишь 75$ не за каждый акт выгрузки а за каждый месяц

Ответить
0

Авторские права будут за теми донорами которые пустили на обучение нейронки. Особенно если итоговое изображение окажется очень похожим на то на что ее обучали . :))))

Ответить
4

как будто и так мало бездушности 

Ответить
9

Бесплатная идея для игры
Сделать весь проект на сгенерированных нейросетками ассетах. По мере прохождения всё должно деградировать от конечного выходного результа до первых итераций, символизируя таким образом потерю души

Ответить
4

Друг спрашивает, игра про шлюху?

Ответить
2

Нужно больше

Ответить
2

Бездуховности! Безблагодатности!

Ответить
5

С этой статьей в закладках я стану супергероем! То есть супер художником! Пока, неудачники!

Впрочем, нет, я ленивая жопа.

Ответить
4

Вот это конечно крутая штука.

Ответить
0

Вот бы можно было делать такие лица в скайриме или рдр2…

Ответить
2

Так вот как Нипонцы делают свои мутант-слэшеры...

Ответить
5

Будто думгая наизнанку вывернули, а потом еще раз

Ответить

Комментарий удален

Комментарий удален

1

Действительно ли можно использовать сгенерированные нейронками картинки (например с помощью ostagram) в своей игре?

Ответить
3

В Artbreeder и Ostagram ничего о том, что ты НЕ мог бы пользоваться результатом, как душе угодно, не сказанно.

First Order Motion Model for Image Animation - свободное пользование.
MuseNet - свободное пользование.
Neural Composer - свободное пользование.

Единственный, кто действительно имеет какие то маниакальные идеи по поводу того, что они оставляют права за собой, это Amber Score.

Ответить
2

@saiko
Если я правильно понимаю, то в правовой бумажке ArtBreeder указано, что интеллектуальная собственность остаётся за создателем арта, однако всё, что производится с помощью сайта, автоматом переходит в CC0, т.е. ты можешь безвозбранно взять любую сгенеренную другим человеком картинку и использовать её. Однако это работает и в обратную сторону. Причём CC0 не склоняет насильно к указанию авторства, если я правильно помню, и это отдаётся на личное усмотрение.

У меня, в свою очередь, вопрос по музыке. Какой-либо из этих генераторов способен выдавать MIDI-партитуру, которую я мог бы скачать и засунуть в условный LMMS, чтобы довести до ума?

Ответить
0

Если midi это то, что можно потом сунуть в fl studios, то последний вариант, как я понимаю

Ответить
1

Ну не обязательно во фрукты, любой нормальный редактор/секвенсор подойдёт. Ок, спасибо

Ответить
2

Хороший список, будет интересно это опробовать.

Ответить

Комментарий удален

2

Использовал MuseNet для игры на Ludum Dare. Из-за того, оставался 1 час до сдачи, а музыка была даже не начата

Ответить
1

Трек с нейронки реально какой-то саунд к Симс, один в один прямо

Ответить
0

Наверное его на музыки из симс и обучали 

Ответить

Подозрительный пистолет

1
Ответить

Комментарий удален

1

Есть ещё интересный генератор музыки, https://beta.aiva.ai/

Ответить

Комментарии

{ "jsPath": "/static/build/dtf.ru/specials/DeliveryCheats/js/all.min.js?v=05.02.2020", "cssPath": "/static/build/dtf.ru/specials/DeliveryCheats/styles/all.min.css?v=05.02.2020", "fontsPath": "https://fonts.googleapis.com/css?family=Roboto+Mono:400,700,700i&subset=cyrillic" }