Выпущена открытая модель ИИ - Stable Diffusion 3 Medium - объявлена оптимизация для NVIDIA и AMD

Переведено с помощью DeepL

Stable Diffusion - одна из открытых моделей ИИ для генерации изображений. В отличие от Midjourney или DALL-E, которые доступны через онлайн API, эту модель можно загрузить и запустить локально с помощью видеокарты.

Более мощная видеокарта с большим объемом памяти позволяет быстрее генерировать изображения и получать их в более высоком разрешении. Однако это не всегда так, поскольку оптимизация и ускорение с помощью передовых библиотек машинного обучения могут значительно ускорить процесс.

Модель Stability в Stable Diffusion 3 Medium одна из самых передовых (и на данный момент самых ожидаемых) моделей для генерации текста в изображение. Это не самая маленькая и не самая большая модель, над которой работает Stability AI, так как эта модель имеет 2 миллиарда параметров (планируются также версии 800M и 8B), поэтому она и называется Medium.

Сейчас пользователи могут скачать модель SD3 и использовать ее в некоммерческих целях, а те, у кого нет доступа, могут воспользоваться онлайн-инструментами Stability AI.

Основными преимуществами новой модели SD3 являются более высокое качество изображений благодаря улучшенной фотореалистичности. Она также способна генерировать изображения на основе более сложных подсказок и понимать композицию элементов, пространственные отношения, действия и стили.

Одна из ключевых особенностей новой модели - улучшенная типографика. Раньше по ней можно было легко определить, сгенерировано ли изображение ИИ или создано вручную. Теперь это будет не так просто, поскольку модель может генерировать текст в различных стилях и чаще всего не допускает опечаток.

Судя по этому примеру, он делает меньше опечаток, чем я (сгенерировано с помощью StableSwarm и RTX 4090):

Stability AI работает с NVIDIA и AMD над оптимизацией аппаратного обеспечения для обоих производителей видеокарт.

Для NVIDIA это включает возможность использования TensorRT, что дает 50% прирост производительности. Это работает на всех видеокартах RTX. Однако учтите, что для этого требуется специальная модель TensorRT, которая пока не опубликована.

Для AMD технология Stability AI обещает оптимизированный вывод для APU, видеокарт и даже для графического ускорителя Instinct MI300X, предназначенного для центров обработки данных. Для AMD аппаратное обеспечение не нуждается в специальных моделях для загрузки.

Если вы хотите загрузить и использовать новые модели, ознакомьтесь с руководством на Reddit, написанным сотрудниками Stability AI.