Разница между tf.data.Dataset.map () и tf.data.Dataset.apply ()

Разница в том, что map будет выполнять одну функцию для каждого элемента Dataset отдельно, тогда как apply будет выполнять одну функцию для всего Dataset одновременно (например, _ 5_, приведенный в качестве примера в документации).

Аргумент apply - это функция, которая принимает Dataset и возвращает Dataset, когда аргумент map - это функция, которая принимает один элемент и возвращает один преобразованный элемент.

Ответ Sunreef абсолютно правильный. Возможно, вам все еще интересно, почему мы представили Dataset.apply() < / a>, и я подумал, что могу предложить некоторую предысторию.

tf.data API имеет набор основных преобразований, таких как Dataset.map() и Dataset.filter(), которые, как правило, полезны для широкого диапазона наборов данных, вряд ли изменятся и реализованы в виде методов для объекта tf.data.Dataset. В частности, на них распространяются те же гарантии обратной совместимости, что и на другие основные API в TensorFlow.

Однако основной подход немного ограничен. Нам также нужна свобода экспериментировать с новыми преобразованиями перед добавлением их в ядро, а также позволить другим разработчикам библиотек создавать свои собственные преобразования, которые можно использовать повторно. Поэтому в TensorFlow 1.4 мы выделили набор настраиваемых преобразований, которые находятся в tf.contrib.data. В число пользовательских преобразований входят некоторые, обладающие очень специфической функциональностью (например, tf.contrib.data.sloppy_interleave() ), и кое-где, где API все еще находится в разработке (например, _8 _). Первоначально мы реализовали эти пользовательские преобразования как функции от Dataset до Dataset, что отрицательно сказалось на синтаксическом потоке конвейера. Например:

dataset = tf.data.TFRecordDataset(...).map(...)

# Method chaining breaks when we apply a custom transformation.
dataset = custom_transformation(dataset, x, y, z)

dataset = dataset.shuffle(...).repeat(...).batch(...)

Поскольку это казалось обычным шаблоном, мы добавили Dataset.apply() как способ связать основные и пользовательские преобразования в один конвейер:

dataset = (tf.data.TFRecordDataset(...)
           .map(...)
           .apply(custom_transformation(x, y, z))
           .shuffle(...)
           .repeat(...)
           .batch(...))

Это второстепенная функция в общей схеме вещей, но, надеюсь, она помогает сделать tf.data программы более легкими для чтения и библиотеку легче расширять.

У меня недостаточно репутации для комментариев, но я просто хотел указать, что вы действительно можете использовать карту для применения к нескольким элементам в наборе данных, вопреки комментариям @sunreef к его собственному посту.

Согласно документации, карта принимает в качестве аргумента

map_func: функция, отображающая вложенную структуру тензоров (имеющую формы и типы, определенные в self.output_shapes и self.output_types) другой вложенной структуре тензоров.

output_shapes определяются набором данных и могут быть изменены с помощью функций API, таких как batch. Так, например, вы можете выполнить пакетную нормализацию, используя только dataset.batch и .map с:

dataset = dataset ...
dataset.batch(batch_size)
dataset.map(normalize_fn)

Похоже, что основная полезность apply() - это когда вы действительно хотите выполнить преобразование всего набора данных.

Просто аргумент transformation_func из apply() Dataset; аргумент map_func из map() element