Да, древние GAN’ы примерно так и работали. Впрочем чисто интереса ради, хороший способ дешевого тюна моделек SD