Я сделал приложение, которое превращает людей в ГигаЧадов и другие мемы с помощью ИИ
И протестировал его на селебах, показываю что у меня вышло и как это работает.
Привет, DTF! Хочу поделиться приложением, которое я делал последние несколько месяцев. MeMemes — это мобильное приложение, в котором можно превратить кого угодно в персонажей известных мемов: от ГигаЧада до Шрека.
Как мне пришла идея MeMemes
В конце 2022 года я увидел Remix фичу в Midjourney, и как с ее помощью создают мемы, скрещивая свинку Пепе с Талибами и т. д.
Идея мне понравилась, и я загорелся сделать мемы для своих друзей, используя Remix с их фото. Однако, результаты оказались фиговыми. Фича редко выдавала нормальные результаты на фотках обычных людей и нужно было сильно постараться, чтобы сделать что-то смешное.
В итоге я попробовал сделать такие мемы самостоятельно, используя свои знания о generative AI сетках. Через несколько недель попыток у меня начало что-то получаться, да так, что друзья смеялись, ставили мемы себе на аватарки и просили сгенерить картинки еще своим знакомым. Увидев такую реакцию, я решил создать приложение, чтобы они могли генерировать мемы без моего участия. Так и появился MeMemes.
Техническая реализация приложения
Я решил повторить подход приложения Lensa, которое хайпануло с AI аватарами в Ноябре-Декарбе 2022г, с некоторыми улучшениями. Наверное, кто-то из вас видел в своих лентах портреты, сгенерированные с его помощью.
Если упростить, то работает это следующим образом:
- Берем модель Stable Diffusion (бесплатный аналог Midjourney)
- Делаем ее файн-тюн, чтобы модель понимала как выглядит пользователь, которого нужно превратить в мемы. Для этого нужно от 8 до 20 его фотографий.
- Подбираем промпты — это запросы-подсказки для Stable Diffusion с описанием того какую картинку мы хотим получить
- Выставляем настройки для модели и запускаем генерацию
Я еще использую дополнительные модули, чтобы улучшить качество мем-картинок на выходе, но базово все работает так, как описано выше.
В результате, мне удалось добиться качества и стабильности работы лучше чем у Midjourney Remix.
Как работает MeMemes
Приложение работает очень просто:
- Выбираем пол
- Загружаем от 8 до 10 фотографий
- Немного ждем и получаем мемы
При этом важно отобрать хорошие фотографии: где четко видно ваше лицо, с разными фонами и эмоциями, нет других людей в кадре и желательно без аксессуаров вроде очков. Если столько фоток нет, то можно сделать селфи. Чем больше и качественнее фото, тем лучше результат.
Сейчас в приложении бесплатно генерируется 6 мемов. Если хотите сгенерировать 30+ мемов, то нужно немного заплатить. Дообучение такой большой модели как stable diffusion на фотографиях пользователя — это вычислительно очень сложный процесс для которого я арендую дорогие видео карты. Бесплатная генерация меня быстро разорит.
Что ожидать в результате генерации
Из-за особенностей сетки, которой я использую некоторые мемы могут получаться с дефектами (кривыми пальцами, пятнами), либо не очень похожими на пользователя. Моя цель была сделать так, чтобы хотя бы 3/4 мемов были крутого качества.
И, кажется, мне удалось этого добиться. Покажу прикольные мемы, которые мне удалось сгенерировать:
Создавайте мемы и делитесь удачными картинками в комментариях. Буду рад увидеть ваши результаты и послушать фидбэк по приложению!
Комментарий недоступен
Это что за магаз такой, от братьев китайцев?
Жесть
Аутентичненько получается ))
Ля, дай Габена с последней пикчи, пожалуйста
Наконец-то можно не сношаться с фотошопом