Нейросеть научили переносить художественный стиль на изображения, но с сохранением содержимого

Предыдущие решения заставляли делать выбор между стилизацией и достоверностью.

Стилизация фото под стиль работ Хаяо Миядзаки​
Стилизация фото под стиль работ Хаяо Миядзаки​

Исследователи представили новый инструмент под названием GANILLA - Генеративно-состязательную сеть для перевода фото в иллюстрацию. Целью своей разработки они видели перенос художественного авторского стиля на фото, но с сохранением информации на фото, то есть не видоизменяя объекты на фото.

Сравнение текущего решения и предыдущих​
Сравнение текущего решения и предыдущих​

Предыдущие решения успешно обучались художественному стилю и могли его восстановить на фото, однако нейросеть старалась слишком усердно - многие объекты на фото теряли свои очертания частично или полностью, как будто нейросеть пытается нарисовать ранее увиденные объекты на изученных иллюстрациях взамен тех, что уже там есть. Либо же, нейросеть старалась недостаточно, тогда фото почти не менялось, приобретая лишь редкие признаки стиля. Помимо этого, на картинах часто появлялись нежеланные артефакты.

GANILLA очевидно справляется с этой проблемой, сохраняя все объекты на исходном фото в том виде, в котором они были изначально.

Авторы отмечают, что для обучения было использовано два разных классификатора: первый для сравнения форм, второй для сравнения стиля. Нейросеть при обучении ориентировалась на обе оценки.

Нейросеть научили переносить художественный стиль на изображения, но с сохранением содержимого

Авторы так же выложили исходный код своего решения в открытый доступ.

6.9K6.9K открытий
86 комментариев
Ответить

Комментарий недоступен

Ответить

Не думаю. Они всего лишь приукрашивают то что может нарисовать человек. Ситуация не страшная. Обидная, но не страшная.

Ответить

думаю, наоборот
например, эта штука может рисовать аниме задники, а а аниматоры только редактировать, дорисовывать детали, несуществующие объекты и персонажей и, если повезёт, перестать быть настолько задроченными в мясо работой

Ответить

Фильтры тоже проклинают?:)

Ответить

Проклинают программистов которые хотят избавится от художников , но пока их результаты жалки . 

Ответить

Картинка со звуком)))

Ответить