Отправка записей DynamoDB в Kinesis Stream, а затем в S3 (только с использованием консоли AWS)

Я новичок в Amazon Kinesis и Amazon DynamoDB. Я приобрел сервисы AWS для своей базы данных RDS MySQL и данных Dynamo DB. Теперь я хочу использовать свои данные Dynamo Db.

Используя интерфейс консоли AWS, я хочу периодически и в реальном времени отправлять недавно вставленные записи DynamoDB в S3. Я читал о Kinesis, но не знаю, как запланировать этот конвейер без использования разработки приложений. Если возможно, Kindle проведет меня. Спасибо

edit Я читал о Kinesis Firehose и задаюсь вопросом, может ли DynamoDB публиковаться в AWS Kinesis Firehose?


amazon-s3 amazon-dynamodb amazon-kinesis
person Samhash    schedule 18.07.2016    source источник
comment
Вы можете написать функцию Lambda (в консоли), которая будет читать из DynamoDB Stream в Kinesis Firehose, а затем определить Firehose для записи в вашу корзину S3.   -  person Guy    schedule 20.07.2016
comment
В описании Lambda говорится, что код запускается в ответ на события, поэтому мне интересно, использует ли он также java-код?   -  person Samhash    schedule 20.07.2016
comment
Lambda теперь поддерживает JavaScript, Java и Python. Вы можете написать код JavaScript или Python в редакторе на веб-консоли или загрузить zip-файлы с jar-файлами Java (и других языков).   -  person Guy    schedule 27.07.2016

Ответы (1)


arrow_upward
5
arrow_downward

Чтобы сделать все это через консоль, я предлагаю вам использовать потоки DynamoDB (отличные от Kenisis Streams) и Lambda. Объявление aAWS для этого процесса описывается следующим образом: сообщение в блоге.

Шаги высокого уровня будут следующими:

  1. Включите DynamoDB Streams для своего стола. На этом шаге определяется производитель для всех изменений вашего элемента.
  2. Напишите лямбда-функцию, которая будет потребителем. Все, что вы упомянули, это то, что вам нужны новые вставленные записи. Эта статья поможет вам разработать простой Hello World в Lambda с помощью консоли AWS. Это хорошая отправная точка. Как только вы почувствуете себя уверенно, еще раз ознакомьтесь с объявлением и следуйте инструкциям по использованию потоков DynamoDB.
  3. Создайте несколько сегментов S3 и добавьте логику к лямбда-функции для сохранения данных нового элемента в S3.

Это мощный процесс, который имитирует триггеры традиционных реляционных баз данных, но для ваших таблиц NoSQL в DynamoDB. Все из консоли AWS.

person Taterhead    schedule 26.07.2016