Вопросы по теме 'streamsets'

Соединитель Logstash Origin для StreamSets
Можно ли напрямую построить конвейер, используя Logstash в качестве источника и Cassandra в качестве пункта назначения. Если нет, то как лучше всего это сделать?
355 просмотров
schedule 01.09.2022

Отправка данных на URL-адрес HTTP-сервера SDC из JavaScript показывает проблему CORS
Я использую конвейер Streamsets для потоковой передачи данных из браузеров. Поэтому для этого я создал конвейер с источником HTTP-сервера для отправки данных из браузеров Javascript и попытался записать этот URL-адрес с помощью клиента REST, и он...
423 просмотров
schedule 11.11.2022

Исключение класса Streamsets не найдено
Я построил конвейер в наборах потоков для чтения данных из моего sql и изменения захвата данных. Когда я начал выполнение конвейера, я получаю следующую ошибку. Состояние конвейера: START_ERROR: java.lang.NoClassDefFoundError:...
293 просмотров

не могу добавить внешний скрипт js в оценщик javascript в наборах потоков
Я использую внешний javascript внутри оценщика javascript в наборах потоков. Но когда я пытаюсь загрузить внешний код, я получаю следующую ошибку. Как мне это решить. Спасибо ОШИБКА SafeScheduledExecutorService — неперехваченный бросок из...
181 просмотров
schedule 13.07.2022

Наборы потоков: есть ли способ подсчитать записи в теме Kafka с помощью наборов потоков?
Я использую StreamSets в качестве инструмента для загрузки записей из базы данных Oracle в темы Kafka. Теперь я хочу использовать его через сам StreamSets, а также хотел подсчитать количество записей в темах Kafka. Как мне это сделать....
201 просмотров
schedule 12.03.2023

Как получить тип полей записи StreamSets внутри Jython Evaluator
У меня есть конвейер StreamSets, где я читаю из удаленной базы данных SQL Server, используя компонент JDBC в качестве источника, и помещаю данные в Hive и озеро данных Kudu. Я столкнулся с некоторыми проблемами с типом двоичных столбцов, поскольку...
1018 просмотров
schedule 16.10.2022

StreamSets — как связать переменную для производителя oracle jdbc
У нас есть требование использовать переменную связывания оракула для выполнения любых запросов к базе данных оракула, благодаря чему он будет выполнять мягкий синтаксический анализ, а не жесткий синтаксический анализ для повышения производительности....
41 просмотров
schedule 24.04.2023

Загрузить поле времени создания документа в Mongo DB из конвейера наборов потоков
Нам нужно добавить поле «doc_creationtime» в формате даты или строки «yyyy-mm-ddTHH:mm:ss.SSSZ» в каждый документ, вставленный в коллекцию MongoDb с использованием конвейера. Значение даты не должно рассчитываться поэтапно. Он должен быть извлечен...
81 просмотров
schedule 26.04.2023

Имя целевого файла с использованием выражения имени файла в наборах потоков
Я пытаюсь загрузить данные из облачного хранилища Google в локальную файловую систему, используя следующее: Свойства My Origin (Google Cloud Storage): Общий префикс = /Target_Files/2019_12_02_Part1/ Шаблон префикса =...
328 просмотров
schedule 14.12.2022

Данные StreamSets не попадают в таблицу, созданную в базе данных postgres
Я использую StreamSets для создания конвейера для передачи данных из таблицы, которая находится в базе данных sqlserver, в таблицу в базе данных postgres. JDBC Query Consumer --> Timestamp --> JDBC Producer Конвейер проходит проверки и...
148 просмотров
schedule 21.07.2022

Как добавить пользовательский процессор в StreamSets
У меня есть контейнер StreamSets в файле docker compose и jar, которые созданы в соответствии с руководством - https://github.com/streamsets/tutorials/blob/master/tutorial-processor/readme.md...
407 просмотров
schedule 15.01.2023