def input_csv_fn():
#filenames = np.load(file_io.FileIO(npy_file, 'r'))
Dataset = tf.data.TextLineDataset(csv_file).skip(1).shuffle(buffer_size = 2000000).map(parser_csv, num_parallel_calls = cpu_count())
#Dataset = Dataset.prefetch(2560)
#Dataset = Dataset.shuffle(buffer_size = 1280)
Dataset = Dataset.map(input_parser_plain, num_parallel_calls = cpu_count())
Dataset = Dataset.apply(tf.contrib.data.ignore_errors())
Dataset = Dataset.repeat(epochs)
Dataset = Dataset.batch(batch_size)
Dataset = Dataset.prefetch(batch_size)
iterator = Dataset.make_one_shot_iterator()
feats, labs = iterator.get_next()
return feats, labs
def aggregate_csv_batches():
features = []
labels = []
# add if GPU exists condition here to fit GPU and CPU data processing
if num_gpus > 0:
num_devices = num_gpus
else:
num_devices = 1
for i in range(num_devices):
_features, _labels = input_csv_fn()
features.append(_features)
labels.append(_labels)
return features, labels
return aggregate_csv_batches
Выше приведен код для чтения набора данных из корзины S3 через CSV, но когда я пытаюсь это сделать, я создаю обучающее задание на AWS Sagemaker и постоянно получаю следующую ошибку.
TypeError: Не удалось преобразовать объект типа
<type 'function'>
в Tensor. Содержимое: функция aggregate_csv_batches по адресу 0x7f1559eeaaa0. Рассмотрите возможность приведения элементов к поддерживаемому типу.