Внедрение CDC в Amazon S3

Внедрение CDC или исправление CDC всегда является важной задачей при извлечении данных из транзакционных источников. В то время как объекты в S3 являются неизменяемыми, S3 не предоставляет ничего собственного для слияния захваченных данных об изменениях (CDC). Существует несколько способов исправления CDC в S3 или AWS-Data-Lakes.

Во-первых, вам нужно убедиться, что ваш конвейер инструмента ETL (Stream-sets/NiFi/Sqoop) должен иметь возможность извлекать обновленные транзакции/записи из исходной системы (либо с помощью столбца last_modified_date и т. д., либо с помощью журналов транзакций) и поместите его в тот же путь сравнения s3 или в другое ведро s3 (CDC-delta).

Теперь, чтобы объединить эту дельту (CDC) с базовой таблицей, вы можете использовать любой из подходов, упомянутых ниже:

1. Если вы используете AWS EMR или Spark в своей среде, я бы рекомендовал использовать Apache-hudi. Теперь с открытым исходным кодом, но он был разработан Uber ранее для предоставления возможности транзакционных таблиц в озерах данных. У него есть возможность объединить исправление CDC с базовыми данными даже в сценариях реального времени, что впоследствии может сэкономить ваши усилия по реализации лямбда-архитектуры в вашем озере данных. Перейдите по этой ссылке — https://aws.amazon.com/blogs/aws/new-insert-update-delete-data-on-s3-with-amazon-emr-and-apache-hudi/
2. Недавно Data Bricks запустили одну замечательную функцию — Delta Lakes. Такой подход к использованию дельта-озёр действительно великолепен и дает вам нестандартную производительность. Дельта-озера обеспечивают функциональность транзакций ACID для вашего озера данных и обеспечивают более высокую производительность как в потоковых, так и в пакетных сценариях. Перейдите по этим ссылкам, где дельта-озеро было реализовано с помощью AWS DMS и S3. https://databricks.com/blog/2019/07/15/migrating-transactional-data-to-a-delta-lake-using-aws-dms.html https://databricks.com/blog/2019/03/19/efficient-upserts-into-data-lakes-databricks-delta.html
3. Еще один способ: вы можете написать свои собственные искровые задания для выполнения этой функции, как описано в приведенной ниже ссылке, но это медленная и дорогостоящая операция, если ваш набор данных большой, и вам может понадобиться какой-то другой метод в случае реального Исправление CDC во время. Перейдите по ссылке - изменить сбор данных в искре

Вы должны использовать инструмент ETL/ELT для захвата CDC. Нет никакого способа (насколько мне известно) S3 может справиться с этим самостоятельно.

Однако вы также можете рассмотреть AWS Glue или Matillion, поскольку они являются родными для AWS и, следовательно, совместимость может быть лучше, чем у Talend (P.S. Я не использовал Talend).