Решил проблему путем разбора геймпада. Сначала чистил контакты, не помогало, потом заметил что контакт в самом стике немного отклонялся, из за этого как раз дёргался в верх. Все во лишь нужно было подогнуть контакт в первоначальное положение, и это мне помогло. Уже больше месяца не сталкивался с этим.