Можем ли мы добавить данные в существующий файл на U-SQL? Я создал файл CSV в качестве вывода в U-SQL. Я пишу еще один запрос U-SQL и хочу добавить результат этого запроса в существующий файл. Является ли это возможным?
Добавить данные в существующий файл в U-SQL
Ответы (1)
Он не поддерживается и будет противоречить конструкции надежной, распределенной идемпотентной системы больших данных (хотя вы можете реализовать это поведение, прочитав предыдущий вывод как набор строк и выполнив UNION ALL).
Лучший способ справиться с этим - правильно использовать разделы, например, создать один или несколько новых разделов для каждого из ваших запусков: https://msdn.microsoft.com/en-us/library/azure/mt621324.aspx
person
Alexandre Gattiker
schedule
02.12.2016
Я думаю, что наборы файлов, а не разделы, но аналогичная концепция. т.е. file1_20161202.csv, file1_20161203.csv и т. д. U-SQL может рассматривать их как один со своей функцией набора файлов, например
@q = EXTRACT rowId int, date string FROM "/input/file1_{date}.txt" USING Extractors.Tsv();.
- person wBob; 02.12.2016
@wBob Хорошая идея. Чтобы создать такие файлы (при запуске, инициированном фабрикой данных), вы можете передать Динамические параметры.
- person Alexandre Gattiker; 07.12.2016
