Вопросы по теме 'flume-ng'
Где запустить агент Flume, который записывает в HDFS?
У меня есть 25-20 агентов, отправляющих данные паре агентов-сборщиков , и эти агенты-сборщики затем должны записывать их в HDFS.
Куда запустить этих коллекторских агентов? На узле данных кластера Hadoop или вне кластера? Каковы плюсы/минусы...
1079 просмотров
schedule
14.11.2022
Flume помещает данные непоследовательным образом
У меня проблема. Я использую apache flume для чтения журналов из txt-файла для перехода в hdfs. почему-то некоторые записи пропускаются при чтении. Я использую fileChannel, пожалуйста, проверьте приведенную ниже конфигурацию.
agent2.sources =...
42 просмотров
schedule
04.07.2022
Агент Flume: добавьте хост в сообщение, затем опубликуйте в теме kafka
Мы начали объединять данные журнала событий из наших приложений, публикуя сообщения в теме Kafka. Хотя мы могли писать прямо из приложения в Kafka, мы решили рассматривать это как общую проблему и использовать агент Flume. Это обеспечивает некоторую...
629 просмотров
schedule
08.12.2023
Запуск агента с apache flume
Я пытаюсь загрузить данные журнала из твиттера, используя свои приложения твиттера, используя flume 1.6v .
Но я постоянно сталкиваюсь с этой ошибкой:
error>>/usr/hdp/2.2.9.0-3393/flume/bin/flume-ng.distro: line 247:...
87 просмотров
schedule
03.11.2022
не удалось загрузить исходные данные Twitter в Flume
Я получаю следующую ошибку при запуске исходных данных import twitter
could not find or load main class flume.node.Application error
может ли кто-нибудь помочь мне решить эту проблему?
100 просмотров
schedule
20.01.2024
Разница между Apache Flume и Apache Flink
Мне нужно прочитать поток данных из какого-то источника (в моем случае это поток UDP, но это не имеет значения), преобразовать каждую запись и записать ее в HDFS.
Есть ли разница между использованием для этой цели Flume или Flink ?
Я знаю,...
4074 просмотров
schedule
09.05.2023
Приемник Flume копирует данные мусора в hdfs
При копировании данных с локального пути в приемник HDFS я получаю некоторые данные мусора в файле в месте расположения HDFS.
Мой файл конфигурации для Flume:
# spool.conf: A single-node Flume configuration
# Name the components on this agent...
201 просмотров
schedule
07.06.2022
Прием больших данных — примеры использования Flafka
Я видел, что сообщество больших данных очень горячо использует Flafka во многих отношениях для приема данных, но я еще не понял, почему.
Простой пример, который я разработал, чтобы лучше понять это, состоит в том, чтобы принимать данные Twitter и...
764 просмотров
schedule
08.02.2023
Можно ли использовать WebHDFS с Flume?
Я хотел бы, чтобы агент Flume находился за пределами кластера Hadoop и хотел бы знать, можно ли использовать Flume для отправки сообщений в кластер Hadoop с использованием WebHDFS.
Если нет, есть ли альтернативы использованию WebHDFS?...
165 просмотров
schedule
04.07.2023
файл разбивается на множество частей в флюме
Привет, я пытаюсь загрузить CSV-файл из локальной файловой системы в файловую систему HDFS через Flume. У меня есть только один файл для анализа. Размер файла меньше 5 МБ, но он разбивается на множество частей при анализе на Flume. Вот моя конф....
134 просмотров
schedule
23.07.2022
Перехватчик Apache Flume — не удалось создать экземпляр Builder
Я написал собственный перехватчик для apache flume 1.7. Перехватчик должен установить специальный заголовок для всех событий из источника kafka, тема которых соответствует регулярному выражению, определенному в конфигурации. Но это не работает. Мои...
638 просмотров
schedule
19.07.2022
Потоковая передача сообщений Kafka в базу данных MySQL
Я хочу писать сообщения Kafka в базу данных MySQL. Пример приведен в этом ссылка. В этом примере apache flume используется для приема сообщений и их записи в MySQL. Я использую тот же код, и когда я запускаю flume-ng agent и event , всегда...
746 просмотров
schedule
13.09.2022
Как читать журналы из txt файла с помощью apache flume
У меня проблема с чтением постоянно растущего файла .txt с помощью Flume. Я знаю, что могу прочитать что-то из сети, используя, например,
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
а как это сделать...
789 просмотров
schedule
29.06.2023
Пустые события из Flume HTTPSource
Я пытаюсь настроить очень простой рабочий процесс в Flume, который делает это:
Данные JSON -> HTTPSource -> Канал памяти -> Регистратор
Я пытаюсь отправить эти данные:
[ { "строка" : "это тестовый пост" }]
Но вот что я получаю в...
246 просмотров
schedule
19.07.2022
Напишите конфигурацию Flume для загрузки постоянно растущего файла в HDFS.
Я новичок в Flume, и у меня есть некоторые проблемы с его конфигурацией.
Я использую Hortonworks Sandbox HDP 2.6.5 на Oracle VirtualBox (если это важно).
У меня есть текстовый файл input_data.txt на моей виртуальной машине:...
264 просмотров
schedule
11.06.2022
Может ли Flume добавить заголовок к данным?
Я имею дело с такими данными, как: {"a":1,"b":2} , и я хочу, чтобы Flume добавлял заголовок ко всем данным, таким как {"header":self_define,"content":{"a":1,"b":2}}
Я читал некоторые материалы о перехватчиках Flume, но кажется, что их можно...
33 просмотров
schedule
18.04.2022
