Apache Beam: PTransform против PValue

Дан PTransform<PCollection<X>, PCollection<Y>> для произвольного типа X и Y. Что такое преобразование и что такое PValue для этого примера? Определяет ли PValue последнюю вершину в графе?


person user_1357    schedule 19.12.2017    source источник


Ответы (1)


PValue — это общий базовый класс для различных вещей, которые могут быть входами и выходами PTransform. PCollection — наиболее распространенный пример; другие примеры: тривиальные PBegin и PDone, PCollectionTuple (преобразование может возвращать несколько PCollection, как это делает ParDo.withOutputTags), и можно определить пользовательские PValue (хотя это очень редко требуется, если вы не являетесь автором библиотеки), например. см. здесь.

person jkff    schedule 20.12.2017