Публикации по теме 'apache-flink'
Флинк или провал? Почему у Ele.me появляется вкус к Apache Flink
Что такого уникального в Flink и что отличает его от Storm и Spark?
Эта статья является частью серии статей о Flink от Alibaba .
Инженеры приложения Alibaba для доставки еды Ele.me (饿 了 吗) все больше полагаются на Apache Flink, платформу обработки потокового видео с открытым исходным кодом, выпущенную в 2018 году.
Что такого уникального в Flink и что отличает его от Storm и Spark? В этой статье исследуется, как работает платформа больших данных Ele.me с точки зрения..
Вопросы по теме 'apache-flink'
Сжатый ввод BZip2 для Apache Flink
У меня есть дамп википедии, сжатый с помощью bzip2 (загружен с http://dumps.wikimedia.org/enwiki/ ), но я не хочу его распаковывать: я хочу обработать его, распаковывая на лету.
Я знаю, что это можно сделать на простой Java (см., например, Java —...
877 просмотров
schedule
28.03.2022
Путь HDFS для Spark Submit и Flink на YARN
Я работаю с cloudera live vm, там у меня есть автономный кластер hadoop и spral. теперь я хочу отправлять свои задания с помощью сценариев отправки искры и запуска flink. это тоже работает. но мои приложения могут найти путь к файлам ввода и вывода...
425 просмотров
schedule
25.07.2023
Apache Spark Streaming: накапливать данные в памяти и выводить их только намного позже
Если я правильно понимаю, искровая потоковая передача предназначена для передачи ваших пакетов RDD через набор преобразований с операцией вывода после преобразований. Это выполняется для каждой партии, поэтому операция вывода также выполняется для...
960 просмотров
schedule
27.02.2023
Как использовать KafkaSource от Flink в Scala?
Я пытаюсь запустить простую тестовую программу с помощью KafkaSource от Flink. Я использую следующее:
Флинк 0,9
Скала 2.10.4
Кафка 0.8.2.1
Я следил за документацией, чтобы протестировать KafkaSource (добавлена зависимость, связать...
2028 просмотров
schedule
17.07.2022
Существуют ли реальные глобальные параметры в потоковой передаче Flink?
Существуют ли реальные глобальные параметры, которые могут записывать и читать все параллельные задачи (независимо от того, на какой TM они работают)? Я тестировал класс GlobalJobParameter, но кажется, что каждый поток поддерживает свой собственный...
275 просмотров
schedule
19.02.2022
flink - с помощью инъекций кинжала - не сериализуемый?
Я использую Flink (последнее через git) для потоковой передачи с кафки на кассандру. Чтобы упростить модульное тестирование, я добавляю инъекцию зависимостей через Dagger.
ObjectGraph, похоже, настраивается правильно, но «внутренние объекты»...
7023 просмотров
schedule
27.07.2022
Запуск программы Flink на удаленном кластере
У меня есть программа на Apache Flink. Я протестировал и запустил его на локальной машине, и все работает нормально. Чтобы запустить программу в удаленном кластере, я внес необходимые изменения, как указано в Официальный сайт Apache Flink .
Я...
1780 просмотров
schedule
17.09.2022
Порядок временного окна событий потоковой передачи Flink
У меня возникли проблемы с пониманием семантики оконного времени событий. Следующая программа генерирует несколько кортежей с отметками времени, которые используются в качестве времени события, и выполняет простую агрегацию окон. Я ожидаю, что вывод...
3179 просмотров
schedule
20.05.2022
Веб-интерфейс Fllink не отображает записи, полученные в реализации пользовательского источника
Я создал собственный источник для обработки потока журнала во Flink. Программа работает нормально и дает мне желаемые результаты после обработки записей.
Но когда я проверяю веб-интерфейс, я не вижу счетчиков. Ниже приведен снимок экрана:...
1731 просмотров
schedule
27.04.2023
Flink DataSet API: GroupBy работает некорректно?
В моей программе Flink Java я использую GroupBy-Operator следующим образом:
dataSet.groupBy(new KeySelector<myObject, Tuple2<Tuple2<Integer, Integer>, Integer>>() {
private static final long serialVersionUID = 5L;...
424 просмотров
schedule
16.11.2022
Apache Flink: как создать параллельный JDBC InputFormat?
Существует модуль с именем flink-jdbc , который поддерживает только непараллельный тип кортежа на основе JDBC InputFormat .
Чтобы использовать параллельный InputFormat для JDBC , кажется, нужно настроить, реализовав интерфейс:...
749 просмотров
schedule
19.04.2023
flink + Kafka: getHostnamePort
Хочу почитать тему кафка с флинка
package Toletum.pruebas;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.java.utils.ParameterTool;
import...
1046 просмотров
schedule
02.04.2022
Apache Flink 1.0.0. Проблемы миграции, связанные со временем события
Я попытался перенести какую-то простую задачу на версию Flink 1.0.0, но это не удалось со следующим исключением:
java.lang.RuntimeException: Record has Long.MIN_VALUE timestamp (= no timestamp marker). Is the time characteristic set to...
2914 просмотров
schedule
08.03.2023
Не удалось найти приложения для регистратора (org.apache.kafka.clients.consumer.ConsumerConfig)
Я пытаюсь подключить Apache Kafka к Apache Flink, создав Kafka Consumer в Scala. Это мой потребительский код:
val properties = new Properties()
properties.setProperty("bootstrap.servers", "localhost:9092")...
4672 просмотров
schedule
22.08.2022
Запрос данных из Apache Flink
Я собираюсь перейти с собственного потокового сервера на Apache Flink. Одна вещь, которая у нас есть, - это интерфейс DRPC, подобный Apache Storm, для выполнения запросов к состоянию, содержащемуся в топологии обработки.
Так, например: у меня есть...
1050 просмотров
schedule
14.04.2024
flink Stream NoSuchMethodError: org.apache.flink.api.common.ExecutionConfig.setRestartStrategy
java.lang.NoSuchMethodError: org.apache.flink.api.common.ExecutionConfig.setRestartStrategy (Lorg / apache / flink / api / common / restartstrategy / RestartStrategies $ RestartStrategyConfiguration;) в com.WriteIntoKafka.main...
1234 просмотров
schedule
22.04.2022
Почему используется только один экземпляр GlobalWindow?
Посмотрите на этот пример :
// We create sessions for each id with max timeout of 3 time units
DataStream<Tuple3<String, Long, Integer>> aggregated = source
.keyBy(0)
.window(GlobalWindows.create())...
477 просмотров
schedule
06.02.2023
Несоответствие ввода: ожидается тип кортежа при попытке выбора в PatternStream
У меня проблемы с тестированием новых функций Flink 1.0.0. Я возился с CEP, и мне еще не удалось запустить простой демонстрационный код:
val pattern : Pattern[TrafficEvent, _] = Pattern.begin[TrafficEvent]("start")
val patternStream =...
318 просмотров
schedule
02.05.2023
Как выполнить timeWindow () для String DataStream во Flink?
Я хочу создать временное окно для потоковой передачи данных в Apache Flink. Мои данные выглядят примерно так:
1> {52,"mokshda",84.85}
2> {1,"kavita",26.16}
2> {131,"nidhi",178.9}
3> {2,"poorvi",22.97}
4> {115,"saheba",110.41}...
976 просмотров
schedule
29.03.2023
Как объединить потоковые данные с большим набором исторических данных в Dataflow / Beam
Я исследую обработку журналов сеансов веб-пользователей через Google Dataflow / Apache Beam, и мне нужно объединить журналы пользователя по мере их поступления (потоковая передача) с историей сеанса пользователя за последний месяц.
Я рассмотрел...
2533 просмотров
schedule
06.06.2022
