Други, у кого-то получалось работать с llama для CUDA?

Я при помощи Llama Sharp пытаюсь с локальными моделями работать. Но при инициализации модели выдает ошибку. Если брать dll для CPU, то все ок, запускается, работает, но тормозит как падла...

А если Cuda 11 или Cuda 12 подключить - подключается, но ни фига не работает.

Если это имеет значение, то внутри Unity, но мне кажется это без разницы...