Данные, хранящиеся в MLMD в TensorFlow TFX

TFX - это конвейер / рабочий процесс машинного обучения, поэтому, когда вы пишете приложение TFX, вы, по сути, строите структуру рабочего процесса и подготавливаете WF для принятия определенного набора данных и обработки или использования его (преобразования, построение модели, вывод, развернуть и т. д.). Таким образом, в этом аспекте он никогда не хранит фактические данные, он хранит информацию (метаданные) для обработки или использования данных. Так, например, в условиях, когда он проверяет аномалии, он требует запоминать предыдущую схему / статистику данных (а не фактические данные), поэтому он сохраняет эту информацию как метаданные в MLMD; помимо фактических метаданных запуска. Что касается Airflow, он также сохранит метаданные запуска. Это можно рассматривать как подмножество всех метаданных, очень ограниченное по сравнению с метаданными, сохраненными в MLMD. Однако будет задействована избыточность. И контроллер - это TFX, который определяет и использует подчеркнутую оркестровку Airflow. Он не заменит, но обязательно выйдет из строя, если произойдет конфликт.