Скажем, например, я хотел получить результаты с первых 3 страниц в Google. Так что в основном я хочу 30 лучших результатов. Я могу захватить первые 10 на странице 1, но как мне сказать Curl, что после того, как первая страница будет готова, «щелкнуть» вторую страницу и так далее?
Как просмотреть результаты разбиения на страницы с помощью PHP/Curl?
Ответы (1)
Просто внимательно посмотрите на URL-адреса:
Первая страница:
http://www.google.com/search?q=lmgtfy
Вторая страница:
http://www.google.com/search?q=lmgtfy&start=10
person
deceze♦
schedule
18.07.2009
идеально подходит для моего примера! - но допустим, что в любом другом сценарии ссылки на страницы были неясными, и вы не могли увеличить значение. Можно ли заставить Curl щелкнуть на другой странице?
- person Keith Donegan; 18.07.2009
На этот вопрос нет общего ответа, скриншоты — это всегда индивидуальная работа. Однако в 99,99% случаев некоторые параметры URL просто увеличиваются для каждой страницы. Google использует
&start=xx, другие могут использовать &page=x, третьи /offset:x/ или что-то еще. Просто проанализируйте различия между первой, второй и третьей страницами, и вы, как правило, довольно быстро во всем разберетесь.
- person deceze♦; 18.07.2009
