Жаль, что без двух 3090/4090 локально не погонять, разве что шакальной квантизации с оффлоадом, но тогда весь смысл пропадает.
Пробовал пока только на 8б модели, но у инстракт версии alignment легко обходится