Кажется проблема больше в реализации Character Controller скрипта, отвечающий за скорость передвижения в зависимости от направления. Обычно отслеживания в -Y (вниз) никто не реализовывает. Кажется юбики это недоглядели или не смогли точно распозновать игрой, так же не исключаю того, что это баг в ослеживании направления