Как извлечь URLs и создать массив переменных и их всех значений?

1. Можно ли извлечь весь список URLs, которые запрашивает сайт при загрузке?

77

Комментарий недоступен

Ответить

Курл только скачает по запросу или редиректу. Все ресурсы со страницы не скачает, а ресурсы которые запрашивает js, нужен уже клиент поддерживающий js. К примеру устаревший phantomjs(и для моих задач он справлялся). Либо по современному безголовый хромиум: https://habr.com/ru/company/oleg-bunin/blog/421137/
Но если разого запарсить какую-то страничку, и побыстрому на коленке(а не как бек делать), я бы воспользовался что-то типа tampermonkey для хрома или greezymonkey для фаерфокса. Все зависит от потребностей

1
Ответить

Да, обычно скачивается файл ну или группа файлов, однако если скрипт инициирует GET, то cURL, по крайней мере, у меня "не видит" этого, как правильно Михаил заметил ниже.

Ответить