Дык надо было создать подсеть на рутере и закрыть все порты (включая 22), кроме необходимых. На сервак разрешить доступ определённым айпи или вообще только из подсети, на которую надо подключаться через впн.