Итератор Mxnet получает данные от AWS S3

Как изменить итератор в этом примере (https://github.com/dmlc/mxnet/blob/master/example/fcn-xs/data.py) для чтения изображений из AWS s3. У меня есть изображения .png в папке в AWS s3. Я попытался передать корневой каталог как s3://bucketname/folder. Я также попытался изменить функцию, которая считывает изображения из изображения (с помощью PIL), на imdecode (с помощью mx.image). В обоих случаях мне не повезло. У меня проблема с сегментацией изображения. мой ввод - это изображение, и мой вывод - тоже изображение.


mxnet
person MAS    schedule 13.07.2017    source источник
comment
Как вы установили (или получили) MXNet? Вам необходимо убедиться, что вы используете версию, скомпилированную с флагом USE_S3, или что вы используете последнюю версию AMI для глубокого обучения от AWS (Amazon Linux — 2.3 июня 2017 г. или Ubuntu — 1.5 июня 2017 г.)   -  person Guy    schedule 16.07.2017

Ответы (1)


arrow_upward
1
arrow_downward

Похоже, вы хотите получить отдельные изображения, хранящиеся в s3. Для этого вы можете использовать библиотеку python boto. Я предлагаю вам изменить строку 56. для загрузки изображений из s3.

Вот пример:

    import StringIO
    from boto.s3.connection import S3Connection
    from PIL import Image

    aws_connection = S3Connection(AWS_KEY, AWS_SECRET)
    bucket = aws_connection.get_bucket(BUCKET_NAME)

    content = bucket.get_key(FILE_NAME).get_contents_as_string()
    image = Image.open(StringIO.StringIO(content))
person madan jampani    schedule 18.07.2017