Покупка и продажа нейроартов. Что? Где? Когда?

Привет DTF! Я бы хотел вам рассказать о новой платформе, которая анонсирована на этой недели в Product Radar. Платформа дает возможность художникам и дизайнерам генерировать изображения нейронными сетями бесплатно на мощностях платформы, а также находить заказы. Но так как я рассказываю про нейронные сети изнутри, в этой статье вы узнаете как устроена платформа для заказчиков и для исполнителей в лице дизайнеров и художников нейро-искусства, и какие нейронные сети платформа применяет, и как это все работают. Зачем нужна такая площадка и какие проблемы она решает.

Продажа артов и дизайна претерпели трансформацию с появлением в доступности генеративных нейронных сетей. Такие сети изменили правила игры, позволив даже небольшим компаниям получить привлекательный бренд, дизайн. Появление заказчика означает наличие исполнителей. И, кажется, все так просто, но какие сложности могут возникнуть, когда генерация доступна онлайн? Проблемы могут возникнуть при создании промт, улучшении полученного изображения и поиске клиентов. Допустим, вы научились генерировать потрясающие нейроарты, но как и где их продать, если каждый может сделать что-то подобное? Не зря, существуют нейронные сети, которые могут извлекать промт из изображений.

Обзор - Burngram изнутри

Взглянем на это с точки зрения заказчика и исполнителя. Начнем с заказчика. Представьте, что вы компания с уже сформированным брендом, слоганом, цветовой гаммой и другими атрибутами, делающими вас уникальными и узнаваемыми. У вас появляется заказ на создание рекламной вывески, концептуальных работ и тому подобного. Вам нужно лишь, чтобы кто-то воплотил ваше видение на основе предоставленных данных. На платформе Burngram вы загружаете информацию для нейронной сети: цвета, ранее использованную рекламу, примеры того, что вам нравится, слоганы и все, что должно отразиться в заказе. Конкретно для вашего случая на платформе обучается «особая мини модель нейронной сети» на основе предоставленных данных и эта модель передаётся исполнителям.

Особая мини модель, это как «Мини-Ми» в серии фильмов Остин Пауэрс.
Из личного

В области искусственного интеллекта поиск методов обучения для понимания конкретных концепций, будь то распознавание объекта или понимание определенного стиля, привел к разработке различных методологий. Среди них: Dreambooth, Textual Inversion, LoRA, Hypernetworks, LyCORIS и Aesthetic Embeddings — каждый с уникальным механизмом и потенциалом.

Dreambooth. Вы обучаете модель на новых данных, предоставляя ей изображения и их описание. Метод хорош тем, что полностью подстраивает модель под ваши нужды, но требует много данных для лучшего результата, а модель весит много.
Textual Inversion. Вы добавляете специальное слово для ваших изображений, и вектора именно этого слова изменяются. Например, если у вас есть модель, которая создает изображения слонов при слове «собака», веса «собаки» изменятся относительно весов «слона», и при запросе «собака» будет получен результат со слоном.

Кстати. Идея метода применяется и для ограничения на обучение модели данными, защищенными авторскими правами, добавляя в изображения невидимые для человека пиксели, чтобы нейронная сеть, получающая промт из картинки, не получала корректный промт, что не позволяет модели для генерации нейроарта корретно обучиться на ваших данных.

LoRA. Представьте слои нейронной сети как ваши представления о предмете, например, о баскетбольном мяче. Первое представление: он круглый, второе: он оранжевый, третье: он резиновый, четвертое: он шершавый. Мы берем один слой, например, цвет (оранжевый) и меняем только его. Теперь наше представление о баскетбольном мяче — он зеленый. При создании нейроарта нейронная сеть на этом слое будет предполагать, что у баскетбольного мяча зеленый цвет.
Hypernetworks, аналогичен LoRA. На примере с мячом: у вас есть слои, представляющие логические характеристики. Теперь мы добавляем промежуточное утверждение между «оранжевый» и «резиновый» — изображение бутерброда. Таким образом, при генерации баскетбольного мяча у вас может появиться изображение с бутербродом на мяче, а цвет не изменится.

Последние два подхода эффективны для применения в концепции стартапа и создания моделей, соответствующих желаниям заказчика. Платформа берет на себя обучение этой модели, разметку данных заказчика и предоставление моделей исполнителям в закрытом виде. Идея заключается в том, чтобы ваша информация оставалась конфиденциальной, модель оставалась внутри платформы, и доступ к генерации через эту модель был предоставлен только тем, кто берется за выполнение вашего заказа. Иллюстрация подходов.

Давайте посмотрим на это с точки зрения дизайнера и художника! У вас есть опыт создания и извлечения промтов. Вы также знаете, что получив нейроарт, вы можете немного изменить его в фотошопе, добавить интересные элементы, затем повторно подать изображение в нейронную сеть и получить уже то изображение, которое вам нужно. Вы хорошо разбираетесь в документации и профессионально занимаетесь нейронным дизайном, используете ComfyUI, со своими слоями и возможностями контролировать каждую деталь генерации через MultiControlNet, VAE, FreeU, Loose cross-frame и миллионами различных параметров на английским без нормального описания.

Такое понимание вы не получите на псевдо курсах по «созданию нейроконтента», потому что этот аспект области развивается, и не каждый готов делиться своими методами или просто не в курсе как это работает на самом деле, особенно если является пользователем облачных решений.

Тогда Burngram не для вас, так как платформа автоматизирует процесс создания контента. Платформа предоставляет модель, варианты промтов и свои вычислительные мощности, вам остается только выбрать результат и надеяться, что ваш вариант удовлетворит заказчика и привлечет максимальное количество откликов.

С моей точки зрения, перспектива этой концепции интересная со стороны заказчика, но не исполнителя. Важно предоставить возможность проявить свой творческий потенциал людям, которые в этом смыслят. Я бы предпочел переосмыслить концепцию с точки зрения исполнителя: платформа обучила свою LoRA мини-модель. Исполнитель выбирает основную модель diffusion или грузит свою. При этом исполнитель имеет возможность дорабатывать предлагаемый платформой промт, вносить изменения в нейроарт. Платформа со стороны исполнителя только дает свои мощности, LoRa или Hypernetworks, знакомит с заказом, и дает «варианты» промтов. Является помощником, а не заменой дизайнера или художника. Такой подход является не только способом выражения, но и мотивирует поделиться своими работами, рассказать о платформе, которая помогает пользователям раскрыть свой творческий потенциал без сложностей и огромных знаний, которые могут требоваться в ComfyUI. При этом со стороны заказчика, платформа должна обеспечить безопасность, что именно его заказ, не будет кем либо использоваться повторно, даже исполнителем (вы в свободном доступе можете смотреть, делиться, но не сможете забрать себе, если вы не заказчик).

Тем не менее, интересно, что появился стартап Burngram с такой концепцией, который, при должном внимании и поддержке со стороны дизайнеров и художников, обязательно сможет совершенствоваться и предоставлять возможность находить друг друга заказчикам и исполнителям нейроартов — это звучит интересно. Вы можете поддержать этот проект и поделиться своими ожиданиями от подобной платформы на Product Radar.