поиск слова на нескольких веб-сайтах с различной структурой с помощью import.io

У меня есть список из более чем 10 000 веб-сайтов, и я хотел бы найти ключевое слово на всех из них.

Ожидаемый результат должен быть чем-то вроде ссылки и столбца со значениями 1, если веб-сайт содержит ключевое слово, и 0, если его нет.

Есть ли способ указать список веб-сайтов и ключевое слово для поиска с помощью import.io?


person ccfarre    schedule 21.12.2015    source источник


Ответы (1)


Import io работает лучше всего, когда каждый сайт, который вы сканируете, имеет одинаковую структуру. Если вы настроены на использование import io,

1) Поместите все ссылки на веб-сайты в столбец

2) Используйте опцию «массового извлечения» API типа «экстрактор», чтобы извлечь весь текст с каждой страницы и поместить его в столбец.

3) Откройте экспортированную таблицу Excel или Google и используйте функцию «Найти», чтобы увидеть, содержится ли ваше ключевое слово в каждой ячейке.

С учетом сказанного, я думаю, вам может повезти больше, если вы воспользуетесь другой службой парсинга веб-страниц, поскольку на самом деле вы не хотите извлекать контент.

person Cameron Yick    schedule 26.12.2015