Я ищу пример запроса веб-страницы, ожидания рендеринга JavaScript (JavaScript изменяет DOM), а затем получения HTML-кода страницы.
Это должен быть простой пример с очевидным вариантом использования PhantomJS. Я не могу найти достойный пример, документация, похоже, посвящена использованию командной строки.
Судя по вашим комментариям, у вас есть 2 варианта.
Редактировать:
Кажется, что дочерний процесс предлагается phantomjs как способ взаимодействия с узлом, см. часто задаваемые вопросы - http://code.google.com/p/phantomjs/wiki/FAQ
Редактировать:
Пример скрипта Phantomjs для получения HTML-разметки страниц:
var page = require('webpage').create();
page.open('http://www.google.com', function (status) {
if (status !== 'success') {
console.log('Unable to access network');
} else {
var p = page.evaluate(function () {
return document.getElementsByTagName('html')[0].innerHTML
});
console.log(p);
}
phantom.exit();
});
С v2 of phantomjs-node довольно легко распечатать HTML после его обработки.
var phantom = require('phantom');
phantom.create().then(function(ph) {
ph.createPage().then(function(page) {
page.open('https://stackoverflow.com/').then(function(status) {
console.log(status);
page.property('content').then(function(content) {
console.log(content);
page.close();
ph.exit();
});
});
});
});
Это покажет вывод, как он был бы отображен в браузере.
Изменить 2019:
Вы можете использовать async/await:
const phantom = require('phantom');
(async function() {
const instance = await phantom.create();
const page = await instance.createPage();
await page.on('onResourceRequested', function(requestData) {
console.info('Requesting', requestData.url);
});
const status = await page.open('https://stackoverflow.com/');
const content = await page.property('content');
console.log(content);
await instance.exit();
})();
Или, если вы просто хотите проверить, вы можете использовать npx
npx phantom@latest https://stackoverflow.com/
В прошлом я использовал два разных способа, в том числе метод page.evaluate(), который запрашивает DOM, о котором упоминал Деклан. Другой способ, которым я передал информацию с веб-страницы, - выплюнуть ее оттуда в console.log(), а в сценарии phantomjs использовать:
page.onConsoleMessage = function (msg, line, source) {
console.log('console [' +source +':' +line +']> ' +msg);
}
Я также мог бы перехватить переменную msg в onConsoleMessage и найти некоторые инкапсулированные данные. Зависит от того, как вы хотите использовать вывод.
Затем в сценарии Nodejs вам нужно будет сканировать вывод сценария Phantomjs:
var yourfunc = function(...params...) {
var phantom = spawn('phantomjs', [...args]);
phantom.stdout.setEncoding('utf8');
phantom.stdout.on('data', function(data) {
//parse or echo data
var str_phantom_output = data.toString();
// The above will get triggered one or more times, so you'll need to
// add code to parse for whatever info you're expecting from the browser
});
phantom.stderr.on('data', function(data) {
// do something with error data
});
phantom.on('exit', function(code) {
if (code !== 0) {
// console.log('phantomjs exited with code ' +code);
} else {
// clean exit: do something else such as a passed-in callback
}
});
}
Надеюсь, это поможет некоторым.
Почему бы просто не использовать это?
var page = require('webpage').create();
page.open("http://example.com", function (status)
{
if (status !== 'success')
{
console.log('FAIL to load the address');
}
else
{
console.log('Success in fetching the page');
console.log(page.content);
}
phantom.exit();
});
Позднее обновление на случай, если кто-то наткнется на этот вопрос:
Проект на GitHub, разработанный моим коллегой, призван помочь вам в этом: https://github.com/vmeurisse/phantomCrawl.
Он все еще немного молод, в нем определенно отсутствует некоторая документация, но приведенный пример должен помочь в выполнении базового сканирования.
Вот старая версия, в которой я использую работающий узел, экспресс и фантомные файлы, которые сохраняют страницу в формате .png. Вы можете настроить его довольно быстро, чтобы получить html.
https://github.com/wehrhaus/sitescrape.git
