Вот тут про библиотеки и логику того, как это реализовывали в beat saber.