Я пытаюсь получить данные с разных веб-сайтов. После поиска в переполнении стека я использую Crawler4j, поскольку многие предлагали это. Ниже мое понимание/дизайн: 1. Get sitemap.xml from robots.txt. 2. If sitemap.xml is not available in...

Я использую последнюю версию Crawler4j для сканирования некоторых URL-адресов каналов. Я передал несколько исходных URL-адресов вместе с идентификатором документа, а также установил нулевую глубину, поскольку мне нужен только контент этой страницы....

В настоящее время я использую crawler4j в качестве поискового робота и пытаюсь научиться как работают поисковые роботы. Я запустил сканирование и ожидал, что оно быстро вернет просканированные данные в папку crawlStorageFolder (/data/crawl/root),...

Я новичок в этом поиске в Интернете. Я использую crawler4j для сканирования веб-сайтов. Я собираю необходимую информацию, сканируя эти сайты. Моя проблема в том, что мне не удалось просканировать контент для следующего сайта....

Это может быть очень простой и глупый вопрос для опытных людей. Но, пожалуйста, помогите. Я пытаюсь использовать Crawler4j в своем приложении Grails, следуя этому руководству. Я знаю его код Java, но я использую его в классе контроллера...

Я использую Crawler4J для сбора информации о веб-сайте. Но иногда я получаю следующую ошибку: ИНФОРМАЦИЯ: Исключение при извлечении контента для: {someurl} [преждевременный конец тела сообщения с разделителями Content-Length (ожидается: X;...

В моем проекте действие моего контроллера Grails заключается в создании нового потока и вызове папки src/groovy формы класса при каждом выполнении этого действия. Мне нужно передать значение из этого действия в новый создаваемый поток. Как я могу...

У меня проблема в моем приложении. Он получает данные с веб-сайтов через Crawler4j, и ему необходимо создать несколько каталогов и файлов для управления данными, но tomcat не дает разрешений. Ответ такой: Не удалось создать эту папку:...

Я пытаюсь запустить Crawler4j в личном Redmine для целей тестирования. Я хочу пройти аутентификацию и просканировать приложение на несколько уровней глубины. Я следую этому руководству из часто задаваемых вопросов Crawler4j. И создайте...

Я использую Crawler4j в очень любительских настройках для сканирования статей с сайта (и бойлерпайп для очистки контента). На некоторых сайтах краулер работает очень аккуратно. Но в других случаях он просто не может получить веб-сайт (хотя я все еще...

В чем разница между поисковым роботом и парсером? В java есть какое-то имя для извлечения библиотек. Например, они называют nutch сканером и jsoup парсером. Они делают ту же цель? Они полностью похожи для работы? спасибо