Новая нейросеть для саунд-дизайна⁠⁠!

Друзья, как и обещал - обзор на Portable-версию нейросети AudioCraft Plus!

Новая нейросеть для саунд-дизайна⁠⁠!

Давайте же к обзору! Предупрежу, для полноценной работы программы требуется видеокарта NVIDIA.

Для тех, кто не в курсе, эта нейросеть позволяет создавать музыкальные композиции, сэмплы и даже отдельные звуки по текстовому запросу, основываясь на заданных параметрах и стилях.

Новая нейросеть для саунд-дизайна⁠⁠!

В основе лежит версия AudioCraft 2.0. В отличие от оригинала, данная версия позволяет генерировать треки длинной более 30 секунд, и имеет более детальный контроль над процессом генерации.

В AudioCraft есть две основные вкладки, соответственно два способа генерации: по текстовому запросу и на основе вашего сэмпла(мелодии)

Новая нейросеть для саунд-дизайна⁠⁠!

В поле Global Prompt будет находится ваш текстовый запрос, вот несколько примеров:

Prompt:80s electronic track with melodic synthesizers, catchy beat and groovy bass

Prompt: smooth jazz, with a saxophone solo, piano chords, snare full drums

Prompt: 182 bpm, pop punk, vintage guitars, fender telecaster, pop chord progression, dark, sad melody

Замечу, что запрос нужно писать на английском языке!

Есть так же и другие составляющие:

BPM, Key, Scale - темп и тональность трека

Prompts - количество запросов

Input text - отдельный запрос для отдельно взятого отрезка

Repeat - количество повторов

Calculate Timings - рассчитать продолжительность одного отрезка

Overlap - длительность в секундах для перекрытия одного отрезка другим.

В настройках(Settings) во вкладке Model можно выбрать модель, которую вы хотите использовать. Если у вас больше 8 Гб видеопамяти, то выбирайте large, так как она даст лучшее звучание. Если у вас 6-8 - то выбирайте medium. Ну а если меньше 6 - то small.

В следующем посте разберём генерацию на основе ваших сэмплов, до новых встреч!

Интересна тема генерации музыки с помощью нейросетей? Добро пожаловать в Нейро-Звук🔉

Понравилось? Тогда милости прошу в мой телеграм канал, буду ждать тебя там!🔥

1515
10 комментариев

прочитал «для суицыд-дизацна», сразу открыл пост, а тут…

1
Ответить

Тебе лишь бы суицыд

1
Ответить

Спасибо! А модель естественно не для коммерческого использования?

Ответить

А если я хочу загрузить музыкальный семпл и чтобы нейронка его изменила, добавив, к примеру, бит, что нужно сделать?

Ответить

Не генерит. Выдает эррор, хотя вроде всего в компе с избытком. Обычные нейронки работают (SD), рам 32 гига, 8 гигов видео 2080ртх...

torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 96.00 MiB (GPU 0; 8.00 GiB total capacity; 6.97 GiB already allocated; 0 bytes free; 7.25 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

Ответить

поправочка. Заработало, когда постаивл медиум и уменьшил длину трека. Спасибо за тутор

Ответить

По ссылке написано, что версия 1.0.7, а не 2.0.0.

Ответить