Как загрузить все экстракторы вместе с конечными точками для запроса RESTful?

Я использую import.io для извлечения большого количества данных с сотен веб-страниц. Я уже создал экстракторы для этих URL-адресов и продолжаю добавлять новые.

Я разработал автоматизированный процесс, который рекурсивно отправляет HTTP-запрос к RESTful API import.io для всех экстракторов.

Каждый раз, когда я создаю новый экстрактор, я выполняю некоторую ручную задачу, чтобы вставить конечную точку вновь созданного экстрактора в мою базу данных. Этот подход требует очень много времени и может быть подвержен ошибкам, поскольку существует вероятность ошибки копирования/вставки.

Хотя import.io поддерживает список моих данных, я хотел бы загрузить все экстракторы вместе с их конечными точками для запроса RESTful, чтобы данные можно было хранить в моей базе данных.

Есть ли способ загрузить или извлечь все мои данные в формат Excel или какой-либо другой?


import.io
person Bhagyesh Jain    schedule 05.04.2016    source источник

Ответы (1)


arrow_upward
2
arrow_downward

Боюсь, в настоящее время нет способа массовой загрузки конечных точек API для всех ваших экстракторов.

Используя этот метод, можно получить идентификаторы GUID ваших соединителей.

http://api.docs.import.io/legacy/#ConnectorMethods "поиск соединители"

Например, вы можете написать небольшой скрипт на python, чтобы проанализировать это, чтобы получить идентификаторы GUID.

Потенциально вы можете добавить это в свой автоматизированный процесс.

person Alex Bamford    schedule 05.04.2016
comment
Спасибо Алекс! Я смог получить список моих экстракторов в соответствии с вашим предложением. Но я хотел бы предложить import.io включить функцию массовой загрузки конечных точек API через приложение. - person Bhagyesh Jain; 05.04.2016
comment
Это хорошая идея! Я передам это команде разработчиков import.io :) - person Alex Bamford; 07.04.2016