Имя целевого файла с использованием выражения имени файла в наборах потоков

Я пытаюсь загрузить данные из облачного хранилища Google в локальную файловую систему, используя следующее:

Свойства My Origin (Google Cloud Storage):

  • Общий префикс = /Target_Files/2019_12_02_Part1/
  • Шаблон префикса = SDC_11643212-5147-49ba-92e8-ba0308679000

Свойства моего пункта назначения (локальная FS):

  • Формат данных = Весь файл
  • Выражение имени файла = ${record:value('/fileInfo/sales')}.json

Но целевой файл не создается как sales.json, он создается как sdc-12ae0f4b-06ac-11ea-a26a-cf076a1f70a7_3d8447a7-19b6-4990-ac3b-daff4c4c2a7c

Я хочу сгенерировать простое имя целевого файла как «sales.json».

Может кто поможет сгенерировать.


streamsets
person Moushmi    schedule 02.12.2019    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Похоже, у вас здесь происходит несколько вещей:

  1. Проверьте Префикс файлов на вкладке Выходные файлы локальной файловой системы. Скорее всего, это значение по умолчанию, sdc-${sdc:id()}, которое создает имя файла, которое вы видите.
  2. Используйте Предварительный просмотр, чтобы убедиться, что поле /fileInfo/sales фактически установлено. Это поле не задано источником Google Cloud Storage, поэтому я предполагаю, что вы устанавливаете его в другом месте конвейера.

Если вы просто хотите, чтобы выходной файл был sales.json и не зависел ни от чего во всей записи файла, вы можете установить Выражение имени файла на желаемое имя файла.

person metadaddy    schedule 03.12.2019