Почему физика не по слоям разбита непонятно, почему несрабатывания рейкаста списывается не на ошибку собственную, а на "ну так работает видимо", тоже непонятно. Ну и то, что можно было использовать типы материалов коллидера, а у себя завести список соответствий уже говорили.