Я действительно изо всех сил пытаюсь понять, как Dynamo / ElasticSearch следует использовать для поддержки усилий по озеру данных AWS (метаданные / каталоги). Кажется, что вы должны регистрировать отдельные местоположения S3 ваших zip-архивов для ваших источников в Dynamo и любых дополнительных метаданных / атрибутов, по которым вы хотите выполнять поиск в ES. Если это так, как бы вы использовали их вместе, чтобы поддержать это? Я пытался найти более подробную информацию о том, как правильно соединить их вместе, но безуспешно. Любая информация / документация, которые есть у других, были бы замечательными. Хороший шанс, что я упускаю из виду некоторые очевидные примеры / документацию.
Я представляю себе что-то вроде следующего:
- Пользователь может искать метаданные / атрибуты в ES, которые будут указывать на соответствующие сегменты / разделы S3 высокого уровня.
- Поиск в DynamoDB будет по части ключа (раздел / ведро) из результата ES
- Поиск, скорее всего, приведет к множеству отдельных объектов / ключей, которые затем можно будет обработать, извлечь и т. Д.
