Не удается начать обучение на Amazon SageMaker

def input_csv_fn():
    #filenames = np.load(file_io.FileIO(npy_file, 'r'))
    Dataset = tf.data.TextLineDataset(csv_file).skip(1).shuffle(buffer_size = 2000000).map(parser_csv, num_parallel_calls = cpu_count())
    #Dataset = Dataset.prefetch(2560)
    #Dataset = Dataset.shuffle(buffer_size = 1280)
    Dataset = Dataset.map(input_parser_plain, num_parallel_calls = cpu_count())
    Dataset = Dataset.apply(tf.contrib.data.ignore_errors())
    Dataset = Dataset.repeat(epochs)
    Dataset = Dataset.batch(batch_size)
    Dataset = Dataset.prefetch(batch_size)
    iterator = Dataset.make_one_shot_iterator()
    feats, labs = iterator.get_next()
    return feats, labs
def aggregate_csv_batches():
    features = []
    labels = []
    # add if GPU exists condition here to fit GPU and CPU data processing
    if num_gpus > 0:
        num_devices = num_gpus
    else:
        num_devices = 1
    for i in range(num_devices):
        _features, _labels = input_csv_fn()
        features.append(_features)
        labels.append(_labels)
    return features, labels
return aggregate_csv_batches 

Выше приведен код для чтения набора данных из корзины S3 через CSV, но когда я пытаюсь это сделать, я создаю обучающее задание на AWS Sagemaker и постоянно получаю следующую ошибку.

TypeError: Не удалось преобразовать объект типа <type 'function'> в Tensor. Содержимое: функция aggregate_csv_batches по адресу 0x7f1559eeaaa0. Рассмотрите возможность приведения элементов к поддерживаемому типу.


person Arun Sharma    schedule 05.09.2018    source источник


Ответы (1)


Трудно определить проблему без более подробной информации. Вы запускаете этот код, используя изображение SageMaker Tensorflow в учебном задании? Если да, то читали ли вы документы здесь? https://github.com/aws/sagemaker-python-sdk/blob/master/src/sagemaker/tensorflow/README.rst

Только из сообщения об ошибке похоже, что вы передаете саму функцию (aggregate_csv_batches) куда-то, что ожидает тензор.

Если вы можете предоставить полный код, который вы используете, и описание того, как вы его запускаете, или, что еще лучше, минимальный пример воспроизведения, я могу попытаться помочь дальше.

person Winston-at-AWS    schedule 11.09.2018