В настоящее время у меня есть сканер, настроенный в import.io, который сканирует очень большое количество страниц (десятки тысяч). Как только этот поисковый робот закончит работу, я попытаюсь просмотреть данные и увижу, что все они потеряны, что, как я полагаю, связано с огромным объемом. Есть ли способ настроить мой поисковый робот так, чтобы он записывал данные в файл на моем жестком диске в режиме реального времени по мере сбора данных?
Как import.io может записывать просканированные данные в файл в режиме реального времени
Ответы (1)
Да, вы можете, прежде чем начать сканирование, прямо под областью ссылок есть опция
1 – Сохранить поток, где вы выбираете имя файла и место для сохранения, также убедитесь, что вы добавили .csv или .json к имени файла.
2 — Тип потока. Вы выбираете тип вывода из раскрывающегося списка.
person
Amr Ali
schedule
23.07.2015