Как добавить пользовательский процессор в StreamSets

У меня есть контейнер StreamSets в файле docker compose и jar, которые созданы в соответствии с руководством - https://github.com/streamsets/tutorials/blob/master/tutorial-processor/readme.md

https://github.com/streamsets/tutorials/tree/master/tutorial-processor/sampleprocessor

Источник был добавлен правильно.

введите здесь описание изображения

Распакуйте tar-архив в каталог user-libs SDC, перезапустите SDC, и вы должны увидеть примеры стадий в библиотеке стадий:

Чтобы добавить пользовательский процессор в конвейер, я скопировал файл jar в пользовательские лаборатории и перезапустил докер.

docker exec -it docker-hadoop_streamsets_1 bash
sudo cp -a /data/lib/. /opt/streamsets-datacollector-3.9.0/user-libs
docker restart docker-hadoop_streamsets_1

Но после перезагрузки я не вижу нового пункта назначения. Также я попытался добавить через веб-интерфейс и прочитал эту статью - https://streamsets.com/documentation/datacollector/latest/help/datacollector/UserGuide/Installation/AddtionalStageLibs.html#concept_evs_xkm_s5

введите здесь описание изображения

bash-4.4$ ls -R /opt/streamsets-datacollector-3.9.0/user-libs/
/opt/streamsets-datacollector-3.9.0/user-libs/:
com.example-1.0-SNAPSHOT          com.example-1.0-SNAPSHOT.jar      com.example-1.0-SNAPSHOT~         sampleprocessor                   sampleprocessor-1.0-SNAPSHOT      sampleprocessor-1.0-SNAPSHOT.jar
/opt/streamsets-datacollector-3.9.0/user-libs/com.example-1.0-SNAPSHOT~:
CredentialStores.json                     Interceptors.json                         PipelineStages.json                       com                                       default.png
Delegates.json                            LineagePublishers.json                    Services.json                             data-collector-library-bundle.properties
ElDefinitions.json                        META-INF                                  StageDefList.json                         datacollector-resource-bundles.json
/opt/streamsets-datacollector-3.9.0/user-libs/com.example-1.0-SNAPSHOT~/META-INF:
MANIFEST.MF  maven
/opt/streamsets-datacollector-3.9.0/user-libs/com.example-1.0-SNAPSHOT~/META-INF/maven:
com.example
/opt/streamsets-datacollector-3.9.0/user-libs/com.example-1.0-SNAPSHOT~/META-INF/maven/com.example:
com.example
/opt/streamsets-datacollector-3.9.0/user-libs/com.example-1.0-SNAPSHOT~/META-INF/maven/com.example/com.example:
pom.properties  pom.xml
/opt/streamsets-datacollector-3.9.0/user-libs/com.example-1.0-SNAPSHOT~/com:
example
/opt/streamsets-datacollector-3.9.0/user-libs/com.example-1.0-SNAPSHOT~/com/example:
stage
/opt/streamsets-datacollector-3.9.0/user-libs/com.example-1.0-SNAPSHOT~/com/example/stage:
destination  lib          origin       processor
/opt/streamsets-datacollector-3.9.0/user-libs/com.example-1.0-SNAPSHOT~/com/example/stage/destination:
sample
/opt/streamsets-datacollector-3.9.0/user-libs/com.example-1.0-SNAPSHOT~/com/example/stage/destination/sample:
Groups.class          SampleDTarget.class   SampleTarget$1.class  SampleTarget.class
/opt/streamsets-datacollector-3.9.0/user-libs/com.example-1.0-SNAPSHOT~/com/example/stage/lib:
sample
/opt/streamsets-datacollector-3.9.0/user-libs/com.example-1.0-SNAPSHOT~/com/example/stage/lib/sample:
Errors.class
/opt/streamsets-datacollector-3.9.0/user-libs/com.example-1.0-SNAPSHOT~/com/example/stage/origin:
sample
/opt/streamsets-datacollector-3.9.0/user-libs/com.example-1.0-SNAPSHOT~/com/example/stage/origin/sample:
Groups.class         SampleDSource.class  SampleSource.class
/opt/streamsets-datacollector-3.9.0/user-libs/com.example-1.0-SNAPSHOT~/com/example/stage/processor:
sample
/opt/streamsets-datacollector-3.9.0/user-libs/com.example-1.0-SNAPSHOT~/com/example/stage/processor/sample:
Groups.class            SampleDProcessor.class  SampleProcessor.class
/opt/streamsets-datacollector-3.9.0/user-libs/sampleprocessor:
ElDefinitions.json                        PipelineStages.json                       data-collector-library-bundle.properties  default.png
META-INF                                  com                                       datacollector-resource-bundles.json
/opt/streamsets-datacollector-3.9.0/user-libs/sampleprocessor/META-INF:
MANIFEST.MF  maven
/opt/streamsets-datacollector-3.9.0/user-libs/sampleprocessor/META-INF/maven:
com.example
/opt/streamsets-datacollector-3.9.0/user-libs/sampleprocessor/META-INF/maven/com.example:
sampleprocessor

person Vadim    schedule 12.03.2020    source источник
comment
Не могли бы вы сделать ls /opt/streamsets-datacollector-3.9.0/user-libs и добавить вывод к своему вопросу?   -  person metadaddy    schedule 12.03.2020
comment
@metadaddy Только что добавил   -  person Vadim    schedule 13.03.2020


Ответы (1)


Все, что вам нужно, это файл com.example-1.0-SNAPSHOT.jar, и он должен находиться в папке /opt/streamsets-datacollector-3.9.0/user-libs/sampleprocessor/lib.

person metadaddy    schedule 13.03.2020