Пишу с дивана.
Для расчёта полётов над планетой можно юзать сферическую систему координат, например, рассчитывать следующую позицию/поворот крафта по ней и потом переводить обратно в декартовы.
Если будут проблемы с z-fighting'ом на больших пространствах то юзать вот это https://www.gamasutra.com/blogs/BranoKemen/20090812/85207/Logarithmic_Depth_Buffer.php но я без понятия, может, эта проблема уже решена в движках. Ремарка про то что можно использовать инвертированный буфер глубины в directx, который тоже решает проблему, но, опять же, я про directx только в новостях про видеокарточки читал.
По поводу генерации — есть концепция LOD, то есть в зависимости от расстояния ты генеришь/подгружаешь разные куски геометрии. Типа, один большой кусок планеты издалека, четыре куска когда подъезжаешь поближе, 16 кусков когда совсем в упор. Что-то связанное с quad tree, расстоянием до центра AABB конкретного куска ландшафта, и каким-нибудь алгоритмом генерации, которым можно генерировать одну и ту же карту с разной детализацией. Типа как функции шумов, которые можно детализировать до посинения или пока память в видеокарточке не кончится.
Движок это набор инструментов, который в абсолютно любом случае придётся дописывать руками, поэтому выбирай любой.