Нейросеть Microsoft научилась «рисовать» изображения на основе текстового описания

Учёные из Лондона, в свою очередь, создали нейросеть которая «оживляет» и озвучивает фотографии.

Нейросеть Microsoft научилась «рисовать» изображения на основе текстового описания

Подразделение Microsoft Research представило нейросеть, которая создаёт изображения на основе текстового описания. Она может «рисовать» полноценные сцены с несколькими сложными объектами.

Основная проблема инженеров заключалась в том, чтобы «научить» нейросеть понимать, как объекты, описанные в тексте, относятся друг к другу.

Например, получив описание вроде «женщина в шлеме сидит на лошади», система должна понять, как предметы расположены друг относительно друга. Для обучения использовался набор данных COCO, содержащий параметры более 1,5 миллиона реальных объектов.

Нейросеть Microsoft научилась «рисовать» изображения на основе текстового описания

В основе проекта лежит нейросеть ObjGAN, обладающая сразу двумя дискриминаторами — элементами, которые сначала анализируют реалистичность каждого объекта по отдельности, а потом — картины целиком.

Учёные «Империал Колледж» в Лондоне вместе с сотрудниками Samsung также представили свою работу в смежной области. Их ИИ научился анимировать и озвучивать портреты людей.

Кроме того, алгоритм способен придавать статичным фотографиям конкретные эмоции, которые проявляются в голосе диктора.

9.6K9.6K открытий
83 комментария

Когда нейросеть начнет по описанию игры делать?
3Д-экшон суть такова... Пользователь может играть лесными эльфами, охраной дворца и злодеем. И если пользователь играет эльфами то эльфы в лесу, домики деревяные набигают солдаты дворца и злодеи. Можно грабить корованы... И эльфу раз лесные то сделать так что там густой лес... А движок можно поставить так что вдали деревья картинкой, когда подходиш они преобразовываются в 3-хмерные деревья[1]. Можно покупать и т.п. возможности как в Daggerfall. И враги 3-хмерные тоже, и труп тоже 3д. Можно прыгать и т.п. Если играть за охрану дворца то надо слушаться командира, и защищать дворец от злого (имя я не придумал) и шпионов, партизанов эльфов, и ходит на набеги на когото из этих (эльфов, злого...). Ну а если за злого... то значит шпионы или партизаны эльфов иногда нападают, пользователь сам себе командир может делать что сам захочет прикажет своим войскам с ним самим напасть на дворец и пойдет в атаку. Всего в игре 4 зоны. Т.е. карта и на ней есть 4 зоны, 1 - зона людей (нейтрал), 2- зона императора (где дворец), 3-зона эльфов, 4 - зона злого... (в горах, там есть старый форт...)

Так же чтобы в игре могли не только убить но и отрубить руку и если пользователя не вылечат то он умрет, так же выколоть глаз но пользователь может не умереть а просто пол экрана не видеть, или достать или купить протез, если ногу тоже либо умреш либо будеш ползать либо на коляске котаться, или самое хорошее... поставить протез. Сохранятся можно...

P.S. Я джва года хочу такую игру.

Ответить

Не в обиду, но с твоей грамотностью тебя не то, что нейросеть не поймёт... Тут даже человеку местами сложно разобраться.

Ответить

Комментарий недоступен

Ответить

Я это читал, и прямо видел перед собой некоторых заказчиков. Даже их голос в голове звучали.

Ответить

Учёные из ЛондонаЭто ж в Британии, да?

Ответить

Да, те самые британские ученые

Ответить

Нужен хештег #британскиеученые

Ответить