Мне нужно сканировать веб-сайты и извлекать некоторую информацию из динамически создаваемых страниц после отправки формы.
Информация, которую мне нужно сканировать, в основном будет поступать из баз данных на этих сайтах.
Добавлено:
Краулеры обычно работают, перескакивая с одной гиперссылки на другую. Так что это в основном статические страницы. Как насчет сканирования страниц, которые не присутствуют статически, а создаются на лету?
