Инженеры создали робота с ИИ, который рисует картинки на основе текста, аудио и визуальных подсказок
Исследователи из Bot Intelligence Group (BIG) Университета Карнеги-Меллон (CMU) разработали роботизированную руку, которая может рисовать картинки на основе устных, письменных и визуальных подсказок. ИИ очень похож на DALL-E, за исключением того, что он физически рисует в реальном времени, а не создает мгновенное цифровое изображение.
Команда BIG назвала робота FRIDA в честь мексиканской художницы Фриды Кало и в качестве аббревиатуры от Framework and Robotics Initiative for Developing Arts. В настоящее время роботу требуется некоторый контекстный ввод и около часа, чтобы подготовить свой стиль мазков кистью.
Пользователи также могут загрузить изображение, чтобы «вдохновить» FRIDA и повлиять на результат, предоставив дескрипторы на простом языке. Например, учитывая снимок бюста Илона Маска и голосовую подсказку «ребенок рыдает», ИИ создал портрет ниже (вверху слева). Исследователи экспериментировали с другими типами ввода, например, позволяя ИИ слушать такие песни, как «Танцующая королева» Abba.
FRIDA — это роботизированная система рисования, но FRIDA — не художник. FRIDA не генерирует идеи для коммуникации. FRIDA — это система, с которой может сотрудничать художник. Художник может указать для FRIDA высокоуровневые цели, а затем FRIDA сможет их выполнить
Алгоритмы робота мало чем отличаются от используемых в OpenAI ChatGPT и DALL-E 2. Это генеративно-состязательная сеть (GAN), настроенная для рисования изображений и оценки ее производительности для улучшения результатов. Теоретически, с каждой картиной FRIDA должна лучше интерпретировать подсказку и ее продукт, но поскольку искусство субъективно, кто может сказать, что «лучше».
FRIDA создает уникальную цветовую гамму для каждого портрета, но не может смешивать краски. На данный момент человек должен смешивать и давать правильные цвета. Тем не менее, команда Школы архитектуры CMU работает над методом автоматизации смешивания красок. Студенты могли бы позаимствовать этот метод, чтобы сделать FRIDA полностью автономной.
Процесс рисования робота похож на процесс рисования художника, и для создания законченного изображения требуется несколько часов. Роботизированная рука наносит мазки на холст, а камера наблюдает сверху. Иногда алгоритмы оценивают возникающее изображение, чтобы убедиться, что оно создает желаемый результат. Если он сбивается с пути, ИИ приспосабливается, чтобы он больше соответствовал подсказке, поэтому у каждого портрета есть свои уникальные маленькие недостатки.
Исследователи BIG недавно опубликовали свое исследование в arXiv Корнельского университета. Команда также ведет учетную запись FRIDA в Твиттере с августа 2022 года, где размещено множество творений робота и сообщений о его прогрессе. Однако, к сожалению, FRIDA недоступна для публики. Следующий проект команды должен основываться на том, что они узнали с FRIDA, для разработки робота, который лепит.
Лица традишников в тред плиз
нельзя сломать то что сломано