В этой статье мы расскажем, как загрузить файлы из вашей локальной системы в Amazon S3-bucket с использованием веб-платформы Flask.
Шаг 1. Создайте сегмент S3
- Войдите в консоль управления AWS, перейдите в S3 и нажмите Create Bucket. Мое название корзины: «mlbankproject27091995»
- Мы также видим, что изначально корзина S3 пуста.
Шаг 2. Подключитесь к Amazon S3
- Прежде чем мы сможем начать загрузку наших файлов, нам нужен способ подключиться к s3 и получить правильный сегмент. Войдите в консоль управления AWS под своим именем (в правом верхнем углу выберите «Мои учетные данные безопасности», затем откройте вкладку «Ключи доступа (идентификатор ключа доступа и секрет ключа доступа)» и, наконец, нажмите «Создать новый доступ». Ключ ».
- Примечание. Эти учетные данные потребуются позже для подключения к S3 с помощью boto клиента.
- boto3 - новейшая версия AWS SDK, она предоставляет интерфейс высокого уровня для взаимодействия с их API.
Шаг 3. Создайте приложение Flask
- Это похоже на изображение ниже. (Код будет загружен на Github)
- Поскольку позже я буду использовать его для выполнения некоторых задач Машинного обучения, поэтому здесь мы берем 3 входа: Train.csv, Test.csv и user_id.
- user_id поможет нам различать и предотвращать дублирование загрузок для каждого пользователя. См. Пример ниже.
Пример: (Вы увидите это позже во время выполнения приложения Flask!)
- Amazon S3 / Bucket_name / user1 /data/train.csv и test.csv
- Amazon S3 / Bucket_name / user2 /data/train.csv и test.csv
Шаг 4. Подключитесь к AWS
- В нашем проекте мы создадим
helpers.py
файл. Мы будем использовать boto3, чтобы установить соединение с сервисом S3. - В aws_access_key_id и aws_secret_access_key укажите ключи, полученные вами на шаге 2 этого блога.
Шаг 5. Загрузите файлы из локальной системы в AWS S3-Bucket
- Теперь, когда мы успешно подключились к S3, мы создали функцию в helpers.py, которая будет отправлять файлы пользователя прямо в нашу корзину.
Шаг 6. Давайте посмотрим, как это работает!
- Выберите train.csv, test.csv и user_id.
- После нажатия кнопки отправить вы можете открыть консоль AWS, а внутри корзины вы увидите user_id и внутри них файлы, загруженные этим пользователем.
Заключение
- Вот и все, люди! Примерно так вы можете загружать файлы прямо в Amazon S3 с помощью Flask. AWS S3 в отличном сервисе, вы должны полностью использовать его преимущества.
Просто выполните все шаги для создания, обучения и развертывания модели машинного обучения с помощью AWS SageMaker.
Надеюсь, вам понравился этот блог! Пожалуйста, хлопните в ладоши, если вы найдете этот блог полезным. Спасибо !! :)
Где найти мой код?
GITHUB: https://github.com/SubhamIO/Local-to-S3-File-Upload-FLASK-WebApp-
Видео на YouTube с подробностями реализации: https://www.youtube.com/watch?v=cR7yQ7j4Ycw&list=PLC1cQ5P4I84nLDd99MSDvAtNqD5pqmbDD
Подпишитесь на мой канал YouTube и наслаждайтесь контентом.