Я пытаюсь создавать динамические задачи с помощью TaskGroup, сохраняя результат в переменной. Переменная изменяется каждые N минут в зависимости от запроса к базе данных, но когда переменная изменяется во второй раз, планировщик выходит из строя.
В основном мне нужно создавать задачи на основе количества уникальных строк, полученных в запросе.
с TaskGroup (ftask) в качестве задачи:
data_variable = Variable.get("df")
data = data_variable
try :
if data != False and data !='none':
df = pd.read_json(data)
for field_id in df.field.unique():
task1 = PythonOperator(
)
task2 = PythonOperator(
)
task1 >> task2
except:
pass
Есть ли способ сделать это с помощью группы задач?