«Сбер» создал нейросеть ruDALL-E — она генерирует изображения по описанию на русском языке

Прежде такие алгоритмы поддерживали только английский.

Хасан Кахраман, звёздный котик и сексуальная Натали Портман по версии нейросети

В основе нейронной сети ruDALL-E лежат три алгоритма, которые поочерёдно генерируют изображения, выбирают наиболее соответствующие описанию и увеличивают их в размере без потери качества.
Архитектуру модели DALL-E, которая генерирует изображения по описанию на английском языке, разработала компания OpenAI. Так как она не опубликовала исходный код проекта в открытом доступе, командам SberDevices и Sber AI пришлось самим воспроизвести код и обучить созданную нейросеть обработке русскоязычных запросов.
В «Сбере» сообщили, что на обучение нейросети ушло 23 тысячи GPU-часов. Всего модель обработала данные из 120 миллиона пар изображение-текст.
Нейросеть ruDALL-E можно опробовать бесплатно на её сайте. На то, чтобы сгенерировать изображение по запросу уходит от двух до нескольких десятков минут в зависимости от загруженности сервиса.
«Сбер» разместил модель ruDALL-E XL с 1,3 миллиардами параметров в открытом доступе. Также компания создала усовершенствованную версию ruDALL-E 12B с 12 миллиардами параметров, которая станет доступна на платформе ML Space.