Публикации по теме 'apache-nifi'
Использование Apache NiFi для переноса данных
Apache NiFi предназначен для автоматизации потока данных между программными системами. Он состоит из нескольких процессоров данных, которые позволяют нам выполнять некоторые операции в процессоре и передавать результаты следующему процессору данных в качестве входных данных, таким образом создавая поток для обработки данных. В этой статье мы сосредоточимся на запросах и обновлении процессоров Sql вместе с процессором запросов Http для запросов к некоторым api. Мы создали пример домена..
Вопросы по теме 'apache-nifi'
Apache Nifi - сохранять строки в 1 файл
Используя Apache Nifi, я создал поток, который читает файл Json и разбивает его построчно, чтобы проверить правильность содержимого. После этого у меня есть 2 выхода: 1 - для успешной строки и 2 - для неудачных, и выход представляет собой файл Json....
969 просмотров
schedule
29.06.2023
Узнать причину сбоя в Apache NiFi
Я хочу записать причину сбоя в каком-то процессоре NiFi. но я видел, что у этого могло быть несколько причин.
Пример для процессора SplitAvroJson: « Если FlowFile не удается обработать по какой-либо причине (например, FlowFile недействителен...
6509 просмотров
schedule
26.02.2023
сохранить файл avro в Hbase Apache NIFI
Я получаю данные из ORACLE DB и хочу сохранить их в hbase без использования (convertAvroToJson и putHbaseJSON)
От оракула я получаю 4 атрибута, например: a: текст b: текст c: текст d: двоичный
есть ли способ сохранить эти атрибуты прямо из файла...
541 просмотров
schedule
23.10.2022
Как добавить потоковый файл apache nifi в httpresponse
У меня есть работающий веб-сервис с nifi, где я получаю httprequest и могу на него ответить. Для теста я использую ReplaceText, чтобы добавить в ответ конкретный контент. Это работает, но моя цель - добавить файл потока (или его значение) в качестве...
2221 просмотров
schedule
20.03.2022
Как настроить службу REST с результатом в виде hhtprespon на Hadoop
на самом деле я использую среду больших данных, в которой я загружаю и обрабатываю данные с помощью Apache Nifi. Результаты сохранены в таблице HBase, и я хочу получить доступ к сохраненным данным с помощью Hive. Теперь я хочу настроить службу REST...
73 просмотров
schedule
09.12.2022
Apache NiFi: вывод одновременно в несколько файлов Flow?
Есть ли способ одновременной записи в разные потоки кастомного процессора в NiFi? Например, у меня есть сторонние библиотеки, которые выполняют значительную обработку с использованием API, которые работают примерно так:
public void...
3482 просмотров
schedule
24.07.2023
Apache Nifi не запускается после добавления пользовательского процессора
Я использую песочницу Hortonworks HDF 1.2.0.1 и пытаюсь добавить PutHiveQL , который будет включен в выпуск 1.0 nifi. Пока что я сгенерировал архив .nar, но nifi больше не запускается при импорте в каталог /lib. Я получаю...
2639 просмотров
schedule
16.04.2024
Ошибка Nifi с процессором fetchelasticsearch
Я получаю странную ошибку при запуске процессора FetchElasticSearch, ошибка ниже.
Конфигурации ElasticSearch:
Хост: localhost
порт: 9500
не уверены в первопричине проблемы, сделайте необходимое.
FetchElasticsearch использует собственный...
255 просмотров
schedule
16.06.2022
Как обрабатывать и для чего нужна отчетная задача в Nifi?
Я прошел по приведенной ниже ссылке на документацию
https://nifi.apache.org/docs/nifi-docs/html/developer-guide.html#reporting-tasks
Но все же мне нужен образец или рабочий процесс и его использование в NiFi
1885 просмотров
schedule
24.08.2022
nifi 1.0.0 - расширить поведение стандартного процессора
У меня есть собственный процессор, который расширяет процесс MergeContent, и при запуске NiFi у меня в журналах появляется эта ошибка:
2016-09-09 18:17:00,607 ERROR [main] org.apache.nifi.NiFi Failure to launch NiFi due to...
1625 просмотров
schedule
29.12.2022
NiFi | Зависимость FlowFile от памяти
Я пытаюсь понять механизм потока данных NiFi. Я читал, что у Nifi есть файл потока, который содержит контент и метаданные (атрибут файла потока).
Поэтому я хотел понять, есть ли у меня 1 ТБ данных, размещенных на граничном узле, и я хотел бы...
752 просмотров
schedule
04.12.2021
Проблема при формировании кластера в NiFi 1.0.0
Настроил узлы кластера согласно приведенной ниже ссылке.
https://pierrevillard.com/2016/08/13/apache-nifi-1-0-0-cluster-setup/
Сердцебиение отправляется и принимается главным узлом кластера. Но пользовательский интерфейс NiFi не запускается в...
158 просмотров
schedule
26.01.2023
Nifi-1.0.0 и Crate.IO
База данных Crate предлагает драйвер jdbc, через который я смогу подключиться к Crate из Nifi, используя службу контроллера DBCPConnectionPool. Итак, я сделал это, я получаю соединение, процессор ConvertJSONToSQL может получать столбцы из базы данных...
176 просмотров
schedule
26.07.2022
Несоответствие типа аргумента с использованием API импорта шаблона nifi
Я пытаюсь использовать конечную точку импорта Nifi REST API 1.0 . Я экспортировал шаблон в формате XML с помощью пользовательского интерфейса и пытаюсь импортировать его с помощью Postman. Запрос выглядит так:
POST...
298 просмотров
schedule
12.08.2022
NiFi 1.0.0 - Пользовательский приоритет для очередей
Есть ли способ добавить пользовательский приоритет для очереди? Или есть способ расширить поведение очереди?
Если нет, будет ли это добавлено в NiFi в будущем?
295 просмотров
schedule
22.03.2023
Параметр InvokeHTTP NIFI TrustAnchors не должен быть пустым.
Я пытаюсь отправить запрос GET на внешний API, который мне нужно поместить apikey в качестве заголовка для аутентификации.
Моя проблема в том, что когда я использую процессор InvokeHTTP с методом GET и добавляю атрибут apikey со значением ключа, я...
938 просмотров
schedule
13.12.2022
В Apache Nifi можно ли удалить некоторые объекты в зависимости от условия
В Apache Nifi я читаю некоторые журналы из S3, которые являются объектами json в текстовых файлах, я разделил их с помощью процессора SplitText, теперь я хочу отфильтровать некоторые объекты на основе атрибута source = es_logs. Есть ли для этого...
151 просмотров
schedule
22.04.2022
Как написать собственный процессор ListenTCP в NiFi
Я собираюсь прочитать все потоки в TCP-сокете в сети. стандартные потоки ListenTCP разделяются на основе \ n (жестко запрограммированы). Как я могу написать собственный процессор ListenTCP в NiFi.
Нужно ли мне расширять...
1397 просмотров
schedule
27.04.2022
Поддерживает ли Apache NiFi контроль версий
Я пытаюсь изучить Apache NiFi . До сих пор не видел способов управления потоками версий.
Есть ли способ управления версиями, когда несколько пользователей пытаются разрабатывать в одном экземпляре?
А как насчет слияния кода от нескольких...
2692 просмотров
schedule
29.08.2022
Как обрабатывать одноименные файлы в Apache NiFi?
Я изучаю NiFi и работаю над потоком, в котором я получаю файлы с помощью GetFile , а затем выполняю какой-то процесс, а затем сохраняю их в HDFS с помощью процессора PutHDFS . Дело в том, что, скорее всего, я получу файлы с таким же именем....
1961 просмотров
schedule
14.03.2022
