Вопросы по теме 'wget'

Как определить значение символического пути
Когда я использую «lynx» через терминал, я считаю, что он использует символическую ссылку, но мои поиски в Google не показали мне, как определить значение символического пути. То есть я хотел бы определить значение символической ссылки для «рыси» и...
170 просмотров
macos wget symlink lynx
schedule 18.08.2023
Проверить возвращаемое значение wget
Я пишу скрипт для загрузки набора файлов и хочу, чтобы он сообщал, когда определенный файл не существует. r=`wget -q www.someurl.com` if [ $r -ne 0 ] then echo "Not there" else echo "OK" fi Но при выполнении выдает следующую ошибку:...
90824 просмотров
bash if-statement wget
schedule 19.07.2022
Почему передача HTTP через wget будет быстрее, чем через lftp/pget?
Я создаю программное обеспечение, которое должно выполнять передачу большого количества файлов как через HTTP, так и через FTP. Часто я получаю более быструю загрузку HTTP с помощью ускорителя загрузки с несколькими подключениями, такого как axel или...
5456 просмотров
download http ftp wget
schedule 26.04.2023
Очистка веб-страницы: нажмите кнопку javascript
Я пытаюсь очистить веб-страницу и получить данные, которые мне нужны, чтобы нажать кнопку. Это исходный код кнопки: "a class="press-me_btn" href="javascript:void( NewPage['DemoPage'].startDemo() );" id="js_press-me_btn">НАЖМИТЕ МЕНЯ Можно ли...
1194 просмотров
python wget screen-scraping
schedule 23.07.2023
использование командной строки curl или wget для загрузки файлов
Прошу прощения, если этот вопрос был задан ранее и если он простой. Я пытаюсь загрузить файл с веб-сайта http на свою машину unix с помощью командной строки. Я вхожу на этот веб-сайт, используя имя пользователя и пароль. Скажем, у меня есть эта...
9391 просмотров
command-line download http curl wget
schedule 02.06.2022
установить скорость загрузки с помощью LWP - Perl
Я разрабатываю приложение, которое загружает файлы из Интернета; файлы в основном находятся на серверах ftp , я использую LWP::Simple и функцию getstore для извлечения файлов. Но хотелось бы ограничить скорость скачивания, как в wget ... вы...
1163 просмотров
wget perl lwp
schedule 12.04.2022
Рекурсивный wget с URL-фильтром/в определенном (не родительском) каталоге?
Можно ли начать с http://host/foo/bar/baz/index.cgi?page=1 и рекурсивно извлекать любой контент из раздела http://host/foo/ ? (Невозможно начать с http://host/foo/ , так как это недействительная страница.) Я посмотрел на различные параметры для...
3083 просмотров
wget
schedule 23.06.2023
страница загрузки aspx wget
Я хочу загрузить веб-страницу http://www.codeproject.com/KB/tips/ModelViewController.aspx с помощью wget , поэтому я просто использовал самую простую команду: wget http://www.codeproject.com/KB/tips/ModelViewController.aspx Я получил файл с...
9852 просмотров
download wget webpage
schedule 15.08.2022
Нужен сценарий оболочки для загрузки файла по ftp-ссылке?
Мне нужно получить этот файл ftp://1034733:[email protected] .net/idx_fl_ftp_down/idx_ftmyersbeach_dn/ftmyersbeach_data.zip на сервер моего сайта. Это кажется достаточно простой задачей... но я не могу найти решение на данный момент. PHP,...
2804 просмотров
download file-transfer ftp wget
schedule 12.04.2024
Есть ли способ программно загрузить частичную часть веб-страницы, а не все тело HTML?
Нам нужен только определенный элемент из HTML-документа по адресу nytimes.com/technology. Эта страница содержит много статей, но нам нужен только заголовок статьи, который находится в формате . Если мы используем wget, cURL или любые другие...
3209 просмотров
web web-scraping scripting web-crawler wget
schedule 07.06.2022
Параллельный wget в Bash
Я получаю кучу относительно небольших страниц с веб-сайта, и мне было интересно, могу ли я как-то сделать это параллельно в Bash. В настоящее время мой код выглядит так, но его выполнение занимает некоторое время (я думаю, что меня тормозит, так это...
62335 просмотров
bash parallel-processing wget
schedule 10.03.2024
Перенаправить вывод wget на ввод perl-скрипта
Возможно ли, чтобы вывод wget перенаправлялся в качестве ввода Perl-скрипта (я думаю, не имеет значения, Perl это или нет, просто общая команда). Что-то типа: perl perl_command.pl < wget http://some.cool.site.com/data.txt
451 просмотров
linux wget
schedule 20.08.2022
Сжатый совет Wget от Bitbucket (mercurial)
Мы хотели бы использовать mercurial для веб-разработки, но не можем (и не хотим) устанавливать mercurial на общий хост. Мы пытаемся использовать wget, как указано здесь , но получаю ошибку 401. Учетные данные и ссылка верны (изменены в целях...
3460 просмотров
bitbucket wget mercurial
schedule 18.03.2023
ошибка сертификата ssl: невозможно получить сертификат локального эмитента
Этот веб-сайт https://dcs1.noaa.gov недавно обновил сертификат SSL. После этого изменения я не могу взять оттуда файл, который мне нужен. Я получаю следующую ошибку: --08:37:12-- https://dcs1.noaa.gov/pdts_compressed.txt =>...
4830 просмотров
java ssl ssl-certificate wget
schedule 06.06.2022
Как загрузить все файлы (но не HTML) с веб-сайта с помощью wget?
Как использовать wget и получить все файлы с веб-сайта? Мне нужны все файлы, кроме файлов веб-страниц, таких как HTML, PHP, ASP и т. Д.
270270 просмотров
download ubuntu wget
schedule 19.02.2022
wget для клонирования веб-сайта со ссылками на каталог, а не на index.html
Я хотел бы клонировать блог WordPress с помощью wget, чтобы я мог включить его как статический контент в веб-приложение, которое я пишу. На данный момент я использую следующее для клонирования сайта: wget -rk http://sitename.com Это...
7672 просмотров
bash linux wget unix
schedule 18.07.2022
Пакет, Как отфильтровать этот текст HTML, чтобы установить немного переменных
у меня большие проблемы Я использую wget для отправки петиции в сеть, затем получаю html. И мне нужно отфильтровать этот образец html: more code up... <div id="song_html" class="show1"> <div class="left">...
396 просмотров
windows batch-file wget grep sed
schedule 01.03.2023
Google Font CSS отличается при извлечении через WGET
Я пытаюсь динамически захватить файл css Google Fonts, чтобы я мог проанализировать его для URL-адреса шрифта. У меня какое-то странное поведение. Сравнивать: http://fonts.googleapis.com/css?family=Droid+Sans (Из Chrome, если это имеет...
1405 просмотров
css wget google-webfonts
schedule 22.06.2023
Загрузка с помощью wget в php
Я использую wget в php-скрипте для загрузки изображений с URL-адреса, отправленного пользователем. Есть ли способ определить размер изображения перед его фактической загрузкой и ограничить размер загрузки до 1 МБ? Также могу ли я проверить, что...
769 просмотров
linux php wget
schedule 28.05.2023
Почему wget загружает index.html только для некоторых веб-сайтов?
Я пытаюсь использовать команду wget: wget -p http://www.example.com чтобы получить все файлы на главной странице. Для некоторых веб-сайтов это работает, но в большинстве случаев загружается только index.html. Я пробовал команду wget -r, но...
80046 просмотров
wget
schedule 26.05.2022