Вопросы по теме 'scraper'
PhantomJS и pjscrape — сбой на некоторых нескольких URL-адресах
Обзор
Я пытаюсь создать очень простой скребок с фреймворком PhantomJS и pjscrape.
Мой код
pjs.config({
timeoutInterval: 6000,
timeoutLimit: 10000,
format: 'csv',
csvFields: ['productTitle','price'],
writer: 'file',
outFile:...
1829 просмотров
schedule
16.11.2022
ScraperWiki: Как сохранить html, чтобы он загружался только один раз
Когда я запускаю парсер, он загружает URL-адрес, используя этот метод:
$html = scraperWiki::scrape("foo.html");
Поэтому каждый раз, когда я добавляю в парсер новый код и хочу его попробовать, он снова загружает html, что занимает изрядное...
135 просмотров
schedule
21.01.2023
Как я могу очистить содержимое веб-сайта на PHP с веб-сайта, для которого требуется вход в систему с использованием файлов cookie?
Моя проблема в том, что он не просто требует базового файла cookie, а скорее запрашивает файл cookie сеанса и случайно сгенерированные идентификаторы. Я думаю, это означает, что мне нужно использовать эмулятор веб-браузера с банкой cookie?
Я...
14089 просмотров
schedule
15.08.2022
Проблемы на стороне сервера при очистке с помощью модуля Node JS Cheerio?
Я пытаюсь следить за этой темой здесь: Как можно проанализировать HTML на стороне сервера с помощью Meteor?
К сожалению, при этом я получаю следующие ошибки:
Uncaught Error: Can't make a blocking HTTP call from the client; callback required....
1596 просмотров
schedule
13.07.2022
Ждать чего-то вечного CasperJS/PhantomJS
есть ли способ или обходной путь, чтобы ждать чего-то вечно?
E.g.
Я буду использовать fb в качестве примера, потому что на моем сайте то же самое. Каждый раз, когда на моей временной шкале Facebook появляются новые сообщения, появляется панель...
545 просмотров
schedule
03.02.2023
Как разобрать этот HTML с помощью Web::Scraper?
Я пытаюсь использовать Web::Scraper для анализа следующего HTML-кода:
<div>
<p><strong>TITLE1</strong>
<br>
DESCRIPTION1
</p>
<p><strong>TITLE2</strong>
<br>
DESCRIPTION2
</p>...
126 просмотров
schedule
30.04.2022
Атрибут всегда Нет
Я пытался создать веб-скрапер, который собирает имя, цену и район объекта на веб-сайте, но ничего не может с этим поделать, потому что выдает ошибку:
AttributeError: объект «NoneType» не имеет атрибута «полоса».
Что я делаю? Помощь!...
72 просмотров
schedule
20.05.2024