Модельку для генерации текста можно в теории ужать до 12 Гб рам/врам, если загружать в 8 bit. GPT-JT ещё столько же, если действительно нужно что-то фильтровать. Но скорее всего этих оптимизаций в оригинальном openchatkit нет, только дорабатывать напильником или использовать модель с другим интерфейсом. Предполагаю, что без оптимизаций выйдет 24 Гб на текст и 24 на фильтрацию

Адовую тонну видеопамяти. Текстовые модели очень тяжелые