Я конвертирую glb в fbx через данный сервис - https://imagetostl.com/convert/file/glb/to/fbx . Потом кидаю объект на сцену удаляю из него камеру и освещение и сохраняю как префаб, тогда работает отлично.
Спасибо за твой комментарий. В Unity, по крайней мере в последней версии которую я скачал, данный параметр выставлен по умолчанию в 3 и первое с чем столкнётся новичок - это будет долго капать почему в билде тормозит при небольшой сцене, поэтому я и сделал акцент на этом.
Возможно, тебе нужно перепроверить вершины модели в блендере и потом только её экспортировать, загугли как это сделать.