В этой статье мы расскажем, как загрузить файлы из вашей локальной системы в Amazon S3-bucket с использованием веб-платформы Flask.

Шаг 1. Создайте сегмент S3

  • Войдите в консоль управления AWS, перейдите в S3 и нажмите Create Bucket. Мое название корзины: «mlbankproject27091995»

  • Мы также видим, что изначально корзина S3 пуста.

Шаг 2. Подключитесь к Amazon S3

  • Прежде чем мы сможем начать загрузку наших файлов, нам нужен способ подключиться к s3 и получить правильный сегмент. Войдите в консоль управления AWS под своим именем (в правом верхнем углу выберите «Мои учетные данные безопасности», затем откройте вкладку «Ключи доступа (идентификатор ключа доступа и секрет ключа доступа)» и, наконец, нажмите «Создать новый доступ». Ключ ».
  • Примечание. Эти учетные данные потребуются позже для подключения к S3 с помощью boto клиента.
  • boto3 - новейшая версия AWS SDK, она предоставляет интерфейс высокого уровня для взаимодействия с их API.

Шаг 3. Создайте приложение Flask

  • Это похоже на изображение ниже. (Код будет загружен на Github)
  • Поскольку позже я буду использовать его для выполнения некоторых задач Машинного обучения, поэтому здесь мы берем 3 входа: Train.csv, Test.csv и user_id.
  • user_id поможет нам различать и предотвращать дублирование загрузок для каждого пользователя. См. Пример ниже.

Пример: (Вы увидите это позже во время выполнения приложения Flask!)

  • Amazon S3 / Bucket_name / user1 /data/train.csv и test.csv
  • Amazon S3 / Bucket_name / user2 /data/train.csv и test.csv

Шаг 4. Подключитесь к AWS

  • В нашем проекте мы создадим helpers.py файл. Мы будем использовать boto3, чтобы установить соединение с сервисом S3.
  • В aws_access_key_id и aws_secret_access_key укажите ключи, полученные вами на шаге 2 этого блога.

Шаг 5. Загрузите файлы из локальной системы в AWS S3-Bucket

  • Теперь, когда мы успешно подключились к S3, мы создали функцию в helpers.py, которая будет отправлять файлы пользователя прямо в нашу корзину.

Шаг 6. Давайте посмотрим, как это работает!

  • Выберите train.csv, test.csv и user_id.

  • После нажатия кнопки отправить вы можете открыть консоль AWS, а внутри корзины вы увидите user_id и внутри них файлы, загруженные этим пользователем.

Заключение

  • Вот и все, люди! Примерно так вы можете загружать файлы прямо в Amazon S3 с помощью Flask. AWS S3 в отличном сервисе, вы должны полностью использовать его преимущества.

Просто выполните все шаги для создания, обучения и развертывания модели машинного обучения с помощью AWS SageMaker.

Надеюсь, вам понравился этот блог! Пожалуйста, хлопните в ладоши, если вы найдете этот блог полезным. Спасибо !! :)

Где найти мой код?

GITHUB: https://github.com/SubhamIO/Local-to-S3-File-Upload-FLASK-WebApp-

Видео на YouTube с подробностями реализации: https://www.youtube.com/watch?v=cR7yQ7j4Ycw&list=PLC1cQ5P4I84nLDd99MSDvAtNqD5pqmbDD

Подпишитесь на мой канал YouTube и наслаждайтесь контентом.