Пока одни художники боятся ИИ, я сделал модель на своих рисунках и отдаю ее бесплатно

Отлично подходит для бесшовных узоров, абстрактных рисунков и стилизованных под акварель образов. Как использовать и как обучить нейросеть на своих картинках?

Скачать модель здесь:

Как использовать .ckpt модель

Качаете файл .ckpt, кидаете в папку с моделями — а дальше все зависит от форка, который вы используете. В InvokeAI, которым пользуюсь я, модели добавляются обычной загрузкой invoke.py и выполнением команды !import_model в консоли.

Как обучить нейросеть на своих картинках, если нет нвидии 4090

У гугла есть замечательный сервис colab — гугл дает бесплатное железо примерно на час. Этого достаточно, чтобы создать модель на основе 15-30-50 изображений.

Сначала идем сюда и знакомимся с колабом (но ничего не трогаем):

Все, что требуется от пользователя, кроме прокликивания каждого окна с кодом и загрузки картинок, — ключ от hugging face.

Регистрируемся на huggingface.co, а затем создаем ключ в настройках

Пока одни художники боятся ИИ, я сделал модель на своих рисунках и отдаю ее бесплатно

Ключ вставляем сюда:

Пока одни художники боятся ИИ, я сделал модель на своих рисунках и отдаю ее бесплатно

Отмечаем сохранение модели в гуглдрайв и папку, если хотите (она создастся автоматически)

Пока одни художники боятся ИИ, я сделал модель на своих рисунках и отдаю ее бесплатно

Далее указываем, как будем вызывать свой стиль или объект

Пока одни художники боятся ИИ, я сделал модель на своих рисунках и отдаю ее бесплатно

Для меня это «in style of netsvetaev abstract paintings» и «in style of abstract paintings» — но это не так важно, главное, чтобы вы сами это запомнили.

Затем загружаем картинки:

Пока одни художники боятся ИИ, я сделал модель на своих рисунках и отдаю ее бесплатно

Нужно использовать 512x512 и лучше подготовить их заранее. Что вырезать — решайте сами, но я рекомендую вырезать так, чтобы сохранялась композиция и значимые объекты целиком. Можно сделать несколько отдельных картинок с увеличенным масштабом.

Пример изображений для моей модели
Пример изображений для моей модели

В зависимости от количества изображений, можно изменить количество шагов обучения. Разумное количество — 100 шагов * количество картинок. Для 8 картинок — а хватит и 8 — достаточно 800 шагов. Слишком много тоже плохо: генерации станут слишком контрастными и на них появятся артефакты.

Пока одни художники боятся ИИ, я сделал модель на своих рисунках и отдаю ее бесплатно

Далее просто запускайте каждый блок в колабе кнопкой Play в левом верхнем углу и здите завершения каждого кода. Когда доберетесь до участка, показанного выше, увидите процесс обучения. Он займет примерно 10 минут + еще 15-30 минут, в зависимости от количества картинок и шагов.

После обучения можно проверить модель на тестовой генерации и сконвертировать в формат .ckpt:

Пока одни художники боятся ИИ, я сделал модель на своих рисунках и отдаю ее бесплатно

Теперь файл у вас на диске — скачивайте и добавляйте в любимый форк.

Дополнительно можно удалить лишние файлы и завершить процесс

Пока одни художники боятся ИИ, я сделал модель на своих рисунках и отдаю ее бесплатно

О себе: Меня зовут Артур Нецветаев, я менеджер продуктов, предприниматель и дизайнер интерфейсов. Я помогаю с разработкой интерфейса InvokeAI и пользуюсь им сам с момента создания.

2929
14 комментариев

Вот примерно о таком я и думал. Моно натренировать сетку на своих артах и продолжить спокойно работать, но более продуктивно (или впаривать как рукотвоврные, лол).

2
Ответить

Я искренне убежден, что художникам ничего не угрожает. С рынка исчезнут те, кто рисует хуже нейросети (проблемы с анатомией в фанарте очень распространены, а сами рисунки — клише). Исчезнут или адаптируются и будут зарабатывать на использовании нейросетей.

Но если ты рисуешь в своем стиле, на физическом холсте, особенно, крупного размера — ты продаешь физический объект. А твой стиль в нейросети, скорее, лишняя реклама твоего творчества (давайте посчитаем, сколько людей узнали про некоего Грега Р. в последние 2 месяца).

Где-то между ними затесались иллюстраторы, но они будут зарабатывать на фотостоках, примерно как музыканты в спотифае, дорисовывая нейросетевые концепты вручную и продавая, например, доступ к обновлениям для своих моделей и обучая людей ими пользоваться (все те же мастерклассы).

Но те, кого устраивает демо-версия из нейросети, все равно не купят оригинальную работу, а те, кого не устраивает — возможно, купят.

Как автор я вижу, из чего действительно сделаны генерации на основе моих рисунков и насколько они похожи на оригиналы. Я вижу отличия, а юзеры — нет :-)

4
Ответить

Вот она сила единства! Покорнейше благодарю!

1
Ответить

Честно совсем не похоже на ваши работы

Ответить

Разве что 11 чуточку. Заполнение слишком плотное

Ответить