Жизнь Влад Бабаев
8807

Нейросеть Microsoft научилась «рисовать» изображения на основе текстового описания

Учёные из Лондона, в свою очередь, создали нейросеть которая «оживляет» и озвучивает фотографии.

В закладки

Подразделение Microsoft Research представило нейросеть, которая создаёт изображения на основе текстового описания. Она может «рисовать» полноценные сцены с несколькими сложными объектами.

Основная проблема инженеров заключалась в том, чтобы «научить» нейросеть понимать, как объекты, описанные в тексте, относятся друг к другу.

Например, получив описание вроде «женщина в шлеме сидит на лошади», система должна понять, как предметы расположены друг относительно друга. Для обучения использовался набор данных COCO, содержащий параметры более 1,5 миллиона реальных объектов.

В основе проекта лежит нейросеть ObjGAN, обладающая сразу двумя дискриминаторами — элементами, которые сначала анализируют реалистичность каждого объекта по отдельности, а потом — картины целиком.

Учёные «Империал Колледж» в Лондоне вместе с сотрудниками Samsung также представили свою работу в смежной области. Их ИИ научился анимировать и озвучивать портреты людей.

Кроме того, алгоритм способен придавать статичным фотографиям конкретные эмоции, которые проявляются в голосе диктора.

#технологии

{ "author_name": "Влад Бабаев", "author_type": "editor", "tags": ["\u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438"], "comments": 83, "likes": 57, "favorites": 29, "is_advertisement": false, "subsite_label": "life", "id": 55293, "is_wide": false, "is_ugc": false, "date": "Thu, 20 Jun 2019 15:34:35 +0300" }
{ "id": 55293, "author_id": 3142, "diff_limit": 1000, "urls": {"diff":"\/comments\/55293\/get","add":"\/comments\/55293\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/55293"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 128871, "last_count_and_date": null }
83 комментария

Популярные

По порядку

Написать комментарий...
66

Когда нейросеть начнет по описанию игры делать?
3Д-экшон суть такова... Пользователь может играть лесными эльфами, охраной дворца и злодеем. И если пользователь играет эльфами то эльфы в лесу, домики деревяные набигают солдаты дворца и злодеи. Можно грабить корованы... И эльфу раз лесные то сделать так что там густой лес... А движок можно поставить так что вдали деревья картинкой, когда подходиш они преобразовываются в 3-хмерные деревья[1]. Можно покупать и т.п. возможности как в Daggerfall. И враги 3-хмерные тоже, и труп тоже 3д. Можно прыгать и т.п. Если играть за охрану дворца то надо слушаться командира, и защищать дворец от злого (имя я не придумал) и шпионов, партизанов эльфов, и ходит на набеги на когото из этих (эльфов, злого...). Ну а если за злого... то значит шпионы или партизаны эльфов иногда нападают, пользователь сам себе командир может делать что сам захочет прикажет своим войскам с ним самим напасть на дворец и пойдет в атаку. Всего в игре 4 зоны. Т.е. карта и на ней есть 4 зоны, 1 - зона людей (нейтрал), 2- зона императора (где дворец), 3-зона эльфов, 4 - зона злого... (в горах, там есть старый форт...)

Так же чтобы в игре могли не только убить но и отрубить руку и если пользователя не вылечат то он умрет, так же выколоть глаз но пользователь может не умереть а просто пол экрана не видеть, или достать или купить протез, если ногу тоже либо умреш либо будеш ползать либо на коляске котаться, или самое хорошее... поставить протез. Сохранятся можно...

P.S. Я джва года хочу такую игру.

Ответить
–37

Не в обиду, но с твоей грамотностью тебя не то, что нейросеть не поймёт... Тут даже человеку местами сложно разобраться.

Ответить
51

эх, потерянное поколение :)

Ответить
8

Это не он написал, это знаменитая паста из тырнетов иллюстрирующая образ горе "гейм-дизайнеров" которым кажется будто они могут спроектировать и описать концепцию игры, а на деле просто бредят. Грамотность тут не при чём, пунктуация и орфография оригинала традиционно сохраняется для аутентичности мема.

Ответить
4

Понял, не в курсе мема.

Ответить
6

Человек, ты откуда? Где жил все это время? Чем занимался? Расскажи плиз

Ответить
6

Этой пасте уже столько лет, что она может быть старше него. Полегче надо быть, мы уже становимся старыми.

Ответить
3

Я из города Антрацит Луганской области, Украина. До 17 лет жил там, потом переехал в Харьков учится. Закончил 6 курсов, получил красный диплом магистра, сейчас работаю в Эмиратах на предприятии по ремонту вертолётов.

Ответить
–2

Бедный, наверно только недавно стал пользоваться интернетом?

Ответить
1

Ага. 12 лет - ничто в масштабах Вселенной.

Ответить
0

Годно, не все поймут.

Ответить
3

Не все такие молодые

Ответить
2

Я это читал, и прямо видел перед собой некоторых заказчиков. Даже их голос в голове звучали.

Ответить
63

Учёные из Лондона

Это ж в Британии, да?

Ответить
8

Да, те самые британские ученые

Ответить
32

7 перепендикулярных линий красного цвета, две из которых зеленые...
Вперед, машина!

Ответить
7

Тёмная тема dtf. Go

Ответить
17

Мне нужно спросить у старших богов.

Ответить
19

// Эти повторяющиеся лыжники/сноубордисты

Ответить
13

С такими технологиями и новости от условной Элизы Кассан не за горами =)

Ответить
6

Хорошо, что не от Калиссы аль-Джилани

Ответить
11

Хм, я один подумал о том, что это был бы крутой генератор порнографии по запросу?

Ответить
6

Опять Программисты ненавидят художников и хотят их уничтожить.

Ответить
4

не уничтожить а оптимизировать. без художников новых сырцов не будет

Ответить
7

This was not called execution. It was called retirement.

Blade Runner

Ответить
1

всё равно работа художников в том чтобы продавать свой собственный чувственный опыт в оболочке произведения искусства. робот с этим не справится. художники незаменимы. вот постмодернисты - заменимы (и будут executed)

Ответить
2

И? Эта обязанность есть у артдиректоров - формировать вижн игры или фильма . А все остальное ложится на плечи обычных художников.
Ты-ты-тысячи иконок. Персонажи, UI, локации...

Ответить
0

и я надеюсь что роботы избавят их от рутины

Ответить
0

И работы :D

Ответить
0

Я художник-программист, и я уничтожу не только первое, но и второе : )

Ответить
0

Не забудь встрить большую красную кнопку с надписью" НЕ НАЖИМАТЬ"
пригодится

Ответить
–12

Миллионы статей нейросети то, нейросети сё, но где же видимые результаты? При том что технология на самом деле выглядит удивительной, та самая предсказанная Винджем в "Соучастнике" подделка реальности с помощью CGI. Но где результаты то? Где применение всего этого в реальном мире, а не в очередных статьях "Нейросеть научилась определять продукты по фото?". Единственное что я видел более менее подходящее так это китайский ведущий созданный ИИ. Вот уж действительно Азия впереди планеты всей, как и было предсказано все в той же НФ.

Ответить
16

Айфон фильтрует фотки в галерее по ключевому слову, чем не применение

Ответить
–5

Все еще игрушка к сожалению. То есть технология все таки удивительна и лет 10 назад компьютер считающий рисунок кота котом, действительно был из области фантастики, но сейчас все это "да этот рисунок кота действительно кот" и "давайте исправим лицо порнушной модели на лицо знаменитости" выглядит как игрушка для детей про которую забудут через несколько месяцев.

Ответить
12

Игрушка? У меня 40000 фоток, я постоянно пользуюсь этой «игрушкой» для поиска конкретных фото.

Ответить
0

А что тогда не игрушки?

Ответить
6

с таким подходом прогресса в мире бы и вовсе не было бы. Взять например математику, когда в восемнадцатом мать его веке оперировали комплексными числами, а стали прикладными они только в 20ом и по сей день.

Ответить
–1

Да не в этом суть. Я говорю про то что технология удивительна, но на что она идет? Заменить лицо порномодели на актрису и сказать что фото кота это кот и все?

Ответить
6

У меня на работе нейросеть прикрутили чтобы выдёргивать кривые данные из ручного ввода банковских документов. Если ты чего-то не видишь, это не значит что это не используется. Нейросети уже сейчас довольно повседневная технология

Ответить
0

Так зачем тогда все эти "Нейросеть научилась определять котиков"? Реально мне интереснее было бы прочитать про "чтобы выдёргивать кривые данные из ручного ввода банковских документов", чем про очередную абстрактную хренотень.

Ответить
1

На котиках проще всего объяснять как работают нейросети. Это наглядная подача, да еще связанная с котиками - сразу все становится гораздо понятнее. А если рассказывать про нахождение минимума функции и оптимизацию его поиска - это уже не так понятно.

Ответить
0

В чем абстрактность поиска объекта на фото? Это легко проверить и это заметная функция.

Сейчас нейросети везде используются - в поиске, при фильтрации почты, при построении снимка на мобильниках, для выдачи таргетированной рекламы и тд просто это не заметно для обывателя

Если интересно можешь сам нейросеть обучить чему нибудь, это не какие то супер секретные квантовые технологии.

Ответить
0

"в поиске, при фильтрации почты, при построении снимка на мобильниках, для выдачи таргетированной рекламы"
А раньше как было? Вместо нейросетей использовали алгоритмы и ключевые слова. Лучше уж котики тогда, хоть видно что технология используется. Вот например Google translate перешел на нейросети. И? Где скачок то? Все те же игрушки. Теперь реклама таргетирована на 5% точнее.

Ответить
5

Я лично ручаюсь, что Google Translate с каждым годом становится все лучше и лучше. А еще автоматические субтитры на YouTube. Я пользуюсь ими много лет, и их качество выросло очень и очень заметно.

Ответить
2

Вам может на специализированный сайт пройти? А то всё не то и мало.
Хотя даже здесь на дтф (вроде бы) была новость что полицейские нейросетью определили подозреваемого на основе мыльной фотки.

Ответить
1

Вместо того как было раньше могу дать прогноз как будет - интеллектуальный труд станет востребован гораздо меньше, как произошло с ручным во время индустриализации.

Ответить
0

Да враки все это. Читал тут выступление представителя какой-то топовой аудиторской компании на большой конференции в США, посвященной машинному обучение и нейросетям. В ближайшие годы смогу автоматизировать лишь совсем уж ручной труд. Остальное автоматизируют еще не скоро, так что можно не волноваться!

Ответить
0

Ну я и не про ближайшие годы) Насчёт не скоро - хз, на мой взгляд довольно скоро, плюс минус лет 50.
Производительность труда и без нейросетей растёт постоянно

Ответить
0

Ради этого тоже не стоит волноваться. В будущем может что угодно произойти. Никто не предполагал, что все будут ходить со смартфонами и втыкать в Интернет. Все грезили либо заселением галактики, либо Робокопами. А технологии вон куда свернули.

Ответить
0

А я и не волнуюсь, наоборот, ожидают с воодушевлением)

Ответить
0

Хотят же вроде как в США комбо из нейросетей и бигдаты внедрять вместо юристов слабой квалификации (там хренова куча черновой работы в крупных юр конторах, и на низах сидят "кожаные мешки" на зарплате, которые работают небыстро и не особо точно). Где-то новость мелькала, что прям вот уже в ближайшее время, лет десять, мол

Ответить
0

Кстати, не поэтому ли теперь Google translate иногда выдаёт всякую крипоту при вводе рандомных символов?

Ответить
0

Я хочу научить нейросеть сталкать профили в соц сетях и на анализе подписок, сохранёнок, аудиофайлов и аватарок троллить людей в интернете.

Ответить
0

Задавай этот вопрос журналистам, которые пишут о картинках.
Если хочешь технических статей — иди на хабр, я в половине всех статей, которых читал, видел использование нейросетей. Я читаю три статьи в полугодие, но тем не менее.

Ответить
0

Это вам к ABBYY, она бизнес-сегментом занимается.

Ответить
3

Вот, например:
https://naked-science.ru/article/medicine/sozdano-prilozhenie-s-pomoshchyu

Насчет правдоподобности, если честно, не знаю.
Но почти уверен, что нейросети используются не только для порномоделей и котиков, просто не так широко освещают.

Ответить
0

Вот кстати да. Очень хороший пример полезного применения. Не будем заострять на том работает или нет, но действительно круто.

Ответить
1

Нейросети давно работают. Просто об их основном применении - анализе данных, подборе рекламы и рекомендаций, писать неинтересно. Подобные статьи - они об ученых и экспериментах, пытающихся расширить границы возможного.

Ответить
0

Ну ты и Сыч Андрей!

Ответить
0

Вопрос полезности/интересности того или иного применения нейросетей - очень субъективный. Кому то возможность подставить лицо знаменитости в порно-видео - очень интересное, а может и даже полезное применение нейросетей. Для кого-то интересным будет что-то другое. Это первое, что я хотел сказать.

К тому же, хотел бы еще сказать, что зачастую технологии продвигаются вперед отнюдь не абстрактными научными мыслями. В первую очередь технологии продвигаются вперед за счет массового бытового применения. Взять, например, ПК и интернет, чтобы далеко не ходить. Про ПК также могли говорить, что это инструмент для инженерных вычислений, научной деятельности. А по факту, если бы не массовый спрос на развлечения (в первую очередь - игры), "железная" индустрия врядли так интенсивно продвинулась вперед. В итоге имеем, что имеем: "и овцы целы, и волки сыты", иными словами: и геймеры довольны, и для научной деятельности железо стало настолько мощным, что позволяет производить колоссальные объемы вычислений. С интернетом примерно та же история.

P.S. Насчет полезных применений технологии в целом ... Как ты относишься к технологии распознавания лиц проходящих мимо людей (аэропорты, например, и т.д.) и сопоставления их с базой разыскиваемых людей? Теоретически вполне себе полезное применение, хоть и спорное с этической точки зрения.
P.P.S. Ну и еще хочу добавить от себя. Я сам начал интересоваться нейросетями еще 15 лет назад. И причина тому как раз "развлекательная" - мне интересно было экспериментировать с распознаванием простых картинок. Это я к тому, что изучение любой технологии становится куда более эффективным, когда получается применять ее с развлекательной точки зрения. Именно так вырастают, например, многие разработчики в целом (исхожу из опыта многих своих друзей, коллег и своего том числе), которые впоследствии занимаются вполне себе "серьезными" задачами. То есть человек, "развлекаясь", весьма эффективно изучает какой-то предмет. А уже впоследствии, имея определенный багаж знаний и опыта, становится "серьезным" специалистом в области этого предмета. Иными словами, если рассматривать в целом ситуацию со стороны, люди еще "развлекаются" с нейросетями, постепенно перерастая в "серьезных" специалистов, делающих "серьезные" вещи.
P.P.P.S. Жаль, конечно, но тему нейросетей и ИИ в частности я уже тогда давно и забросил, сосредоточившись на более практических вещах, позволявших тогда и сейчас зарабатывать деньги :) Но тема безусловно очень интересная и сейчас уже очень актуальная.

Ответить
0

Банальный пример - поиск картинок в гугле по описанию.

Ответить
4

О великая Нейросеть сделай мне Халф лайф 3 пожалуйста.

Ответить
1

Там это, некоторые неискусственные нейросети некий Бореалис делают.

Ответить
0

Может кто-нибудь объяснить, почему у нейросетей в конце GAN?

Ответить
8

Это класс нейросетей, generative adversarial network

Ответить
0

Благодарю

Ответить
1

Лошадь в шлеме сидит на женщине?

Ответить
4

Главное возрастной рейтинг выставить. А то не ту наездницу выдаст.

Ответить
2

Выглядит крипово.

Ответить
2

Наконец-то Распутин споет про себя!

Ответить
–3

Нейросеть, которая рисует по скетчу, нейросеть, которая рисует по тексту... Скоро бзднешь в микрофон, а нейросеть тебе Мону Лизу нарисует.

Ответить
0

Это называется нейросеть, которая рисует по звуку, даже интересно стало, может такая уже есть и ее даже тестировали, какие результаты получаются. Приложение на смарт, точно было бы дико популярным.

Ответить
1

Можно слова преобразовывать в текст, а дальше к работе подключается эта нейросеть

Ответить
0

Выглядит прикольно)

Ответить
0

А эксклюзивы они ее научат делать?

Ответить
0

Такая нейросеть уже есть. EGS

Ответить
0

Баловство всё это. Пока сеть не научим хранить изученные объекты в 3D, всё это так и будет мазнёй.

Ответить
0

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjog" } } }, { "id": 10, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-250597-0", "render_to": "inpage_VI-250597-0-1134314964", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=clmf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudo", "p2": "ftjf" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fzvc" } } } ]
Новая игра Ubisoft на релизе выглядит
точно так же, как и на E3
Подписаться на push-уведомления