Итак) Вариков вагон.
1. Использовать точечные промпты. То есть всегда использовать одинаковый блок информации про персонажа, добавляя в него особые характерные черты, например возраст, характер и т.п. не говоря уже об одних и тех же чертах лица.
2. Обучить лору. Сейчас это делается мегабыстро и можно через какойнить сервис включая civitai.
3. Использовать т.н IP адаптер в контролнете.
4. Использовать любое доступное дополнение для "пересадки" лиц. Но эти больше работают с фоторилом, чем с иллюстрациями, как правило.
5. Миксовать все способы выше до готовности.