Почему wget загружает index.html только для некоторых веб-сайтов?

Wget также может загрузить весь веб-сайт. Но поскольку это может создать большую нагрузку на сервер, wget будет подчиняться файлу robots.txt.

 wget -r -p http://www.example.com

Параметр -p сообщает wget, что нужно включить все файлы, включая изображения. Это будет означать, что все файлы HTML будут выглядеть так, как должны.

Так что, если вы не хотите, чтобы wget подчинялся файлу robots.txt? Вы можете просто добавить -e robots = off к команде следующим образом:

 wget -r -p -e robots=off http://www.example.com

Поскольку многие сайты не позволяют загружать сайт целиком, они проверяют подлинность вашего браузера. Чтобы обойти это, используйте -U mozilla, как я объяснил выше.

 wget -r -p -e robots=off -U mozilla http://www.example.com

Многим владельцам веб-сайтов не понравится тот факт, что вы загружаете их сайт целиком. Если сервер видит, что вы загружаете большое количество файлов, он может автоматически добавить вас в черный список. Чтобы решить эту проблему, подождите несколько секунд после каждой загрузки. Чтобы сделать это с помощью wget, нужно включить --wait = X (где X - количество секунд).

вы также можете использовать параметр: --random-wait, чтобы позволить wget выбрать случайное количество секунд для ожидания. Чтобы включить это в команду:

wget --random-wait -r -p -e robots=off -U mozilla http://www.example.com

Во-первых, чтобы прояснить вопрос, цель состоит в том, чтобы загрузить index.html плюс все необходимые части этой страницы (изображения и т. Д.). Параметр -p эквивалентен --page-requisites.

Причина, по которой реквизиты страницы не всегда загружаются, заключается в том, что они часто размещаются в домене, отличном от домена исходной страницы (например, CDN). По умолчанию wget отказывается посещать другие хосты, поэтому вам необходимо включите охват хоста с помощью параметра --span-hosts.

wget --page-requisites --span-hosts 'http://www.amazon.com/'

Если вам нужно иметь возможность загружать index.html и загружать все реквизиты страницы из локальной версии, вам нужно добавить параметр --convert-links, чтобы URL-адреса в атрибутах img src (например) были переписаны на относительные URL-адреса, указывающие на локальные версии.

При желании вы также можете сохранить все файлы в одном каталоге «хоста», добавив параметр --no-host-directories, или сохранить все файлы в одном плоском каталоге, добавив параметр --no-directories.

Использование --no-directories приведет к загрузке большого количества файлов в текущий каталог, поэтому вы, вероятно, захотите указать имя папки для выходных файлов, используя --directory-prefix.

wget --page-requisites --span-hosts --convert-links --no-directories --directory-prefix=output 'http://www.amazon.com/'

Ссылка, которую вы предоставили, является домашней страницей или /index.html, поэтому ясно, что вы получаете только страницу index.html. Для фактической загрузки, например, для файла "test.zip", вам нужно добавить точное имя файла в конце. Например, используйте следующую ссылку для загрузки файла test.zip:

wget -p domainname.com/test.zip

Загрузить полный веб-сайт с помощью wget --mirror

Ниже приведена командная строка, которую вы хотите выполнить, когда вы хотите загрузить полный веб-сайт и сделать его доступным для локального просмотра.

wget --mirror -p --convert-links -P ./LOCAL-DIR http://www.example.com

wget -r -A.pdf http://example.com/test.pdf

Другая проблема может заключаться в том, что зеркалируемый вами сайт использует ссылки без www. Итак, если вы укажете

wget -p -r http://www.example.com

он не будет загружать никакие связанные (внутренние) страницы, потому что они из «другого» домена. Если это так, используйте

wget -p -r http://example.com

вместо этого (без www).

У меня была такая же проблема с загрузкой файлов модели CFSv2. Я решил это, смешав приведенные выше ответы, но добавив параметр --no-check-certificate

wget -nH --cut-dirs=2 -p -e robots=off --random-wait -c -r -l 1 -A "flxf*.grb2" -U Mozilla --no-check-certificate https://nomads.ncdc.noaa.gov/modeldata/cfsv2_forecast_6-hourly_9mon_flxf/2018/201801/20180101/2018010100/

Здесь краткое объяснение каждого используемого параметра, для дальнейшего объяснения перейдите к GNU wget 1.2 Руководство

• -nH эквивалент --no-host-directories: отключить создание каталогов с префиксом хоста. В этом случае избегайте создания каталога ./https://nomads.ncdc.noaa.gov/

• --cut-dirs=<number>: игнорировать компоненты каталога. В этом случае избегайте создания каталогов ./modeldata/cfsv2_forecast_6-hourly_9mon_flxf/

• -p эквивалент --page-requisites: этот параметр заставляет Wget загружать все файлы, необходимые для правильного отображения данной HTML-страницы. Сюда входят такие вещи, как встроенные изображения, звуки и таблицы стилей, на которые есть ссылки.

• -e robots=off: не загружайте файл robots.txt

• -random-wait: заставляет время между запросами варьироваться от 0,5 до 1,5 * секунд, где было указано с использованием параметра --wait.

• -c эквивалент --continue: продолжить получение частично загруженного файла.

• -r эквивалент --recursive: включить рекурсивное извлечение. Максимальная глубина по умолчанию - 5.

• -l <depth> эквивалент --level <depth>: укажите максимальный уровень глубины рекурсии

• -A <acclist> эквивалент --accept <acclist>: укажите список суффиксов или шаблонов имен, разделенных запятыми, которые необходимо принять.

• -U <agent-string> эквивалент --user-agent=<agent-string>: протокол HTTP позволяет клиентам идентифицировать себя с помощью поля заголовка User-Agent. Это позволяет различать программное обеспечение WWW, обычно для статистических целей или для отслеживания нарушений протокола. Wget обычно идентифицируется как «Wget / version», причем версия является текущим номером версии Wget.

• --no-check-certificate: Не сверяйте сертификат сервера с доступными центрами сертификации.

Я знаю, что эта ветка старая, но попробуйте то, что упоминает Ритеш, с:

--нет печенья

У меня это сработало!

Если вы ищете index.html в руководстве по wget, < / strong> вы можете найти параметр --default-page=name, который по умолчанию равен index.html. Например, вы можете изменить на index.php.

--default-page=index.php