Вопросы по теме 'scraper'

PhantomJS и pjscrape — сбой на некоторых нескольких URL-адресах
Обзор Я пытаюсь создать очень простой скребок с фреймворком PhantomJS и pjscrape. Мой код pjs.config({ timeoutInterval: 6000, timeoutLimit: 10000, format: 'csv', csvFields: ['productTitle','price'], writer: 'file', outFile:...
1829 просмотров

ScraperWiki: Как сохранить html, чтобы он загружался только один раз
Когда я запускаю парсер, он загружает URL-адрес, используя этот метод: $html = scraperWiki::scrape("foo.html"); Поэтому каждый раз, когда я добавляю в парсер новый код и хочу его попробовать, он снова загружает html, что занимает изрядное...
135 просмотров
schedule 21.01.2023

Как я могу очистить содержимое веб-сайта на PHP с веб-сайта, для которого требуется вход в систему с использованием файлов cookie?
Моя проблема в том, что он не просто требует базового файла cookie, а скорее запрашивает файл cookie сеанса и случайно сгенерированные идентификаторы. Я думаю, это означает, что мне нужно использовать эмулятор веб-браузера с банкой cookie? Я...
14089 просмотров
schedule 15.08.2022

Проблемы на стороне сервера при очистке с помощью модуля Node JS Cheerio?
Я пытаюсь следить за этой темой здесь: Как можно проанализировать HTML на стороне сервера с помощью Meteor? К сожалению, при этом я получаю следующие ошибки: Uncaught Error: Can't make a blocking HTTP call from the client; callback required....
1596 просмотров
schedule 13.07.2022

Ждать чего-то вечного CasperJS/PhantomJS
есть ли способ или обходной путь, чтобы ждать чего-то вечно? E.g. Я буду использовать fb в качестве примера, потому что на моем сайте то же самое. Каждый раз, когда на моей временной шкале Facebook появляются новые сообщения, появляется панель...
545 просмотров

Как разобрать этот HTML с помощью Web::Scraper?
Я пытаюсь использовать Web::Scraper для анализа следующего HTML-кода: <div> <p><strong>TITLE1</strong> <br> DESCRIPTION1 </p> <p><strong>TITLE2</strong> <br> DESCRIPTION2 </p>...
126 просмотров
schedule 30.04.2022

Атрибут всегда Нет
Я пытался создать веб-скрапер, который собирает имя, цену и район объекта на веб-сайте, но ничего не может с этим поделать, потому что выдает ошибку: AttributeError: объект «NoneType» не имеет атрибута «полоса». Что я делаю? Помощь!...
72 просмотров
schedule 20.05.2024