Как тебе написали выше, нужно отделить обработку инпута от движения камеры.
Не очень пойму зачем тут рейкасты и плейны, можно смотреть дельту сдвига тача. Тут конечно есть опасность, что на разных девайсах будет разрый сдвиг из-за разрешений и ppi, но можно нормализовать это дело.
Если ты делаешь зум движением вверх-вниз (подозреваю что по transform.forward камеры), то можно закешировать стартовую позицию и потом просто не давать двигаться если дистанция от стартовой больше какого-то значения.
С зумом алгоритм примерно такой: на touchphase begin сохраняешь положение обоих пальцев (или дистанцию между ними), потом в конце кадра чекаешь увеличилось или уменьшилось ли расстояние, в соответствии с этим делаешь зум ин или зум аут, обновляешь сохранённое расстояние на новое полученное. И так пока пальцев на экране 2.