Можно ли запланировать задание AWS Glue для выполнения команд восстановления MSCK, чтобы метаданные для вновь добавленного раздела добавлялись в каталог Glue?
Может ли сценарий Glue ETL выполнять команду MSCK REPAIR TABLE без вызова Athena?
Команда восстановления MSCK в задании AWS Glue Catalog
Ответы (2)
Это достигается с помощью клеевых краулеров. Если вы создадите искатель, он обновит таблицу на основе новых полей и добавит новые разделы.
person
Ricardo Mayerhofer
schedule
10.04.2018
Я перенес таблицы хранилища метаданных Hive в каталог Glue Data, поэтому таблицы имеют разные свойства. Когда я запускаю сканеры, они создают совершенно новые таблицы с добавленными разделами.
- person Sumedh; 11.04.2018
Для этого вы можете вызвать API batch_create_partition (). Это не требует дорогостоящих операций, таких как MSCK REPAIR TABLE или повторное сканирование. Ниже мой подробный ответ с образцом кода -
https://stackoverflow.com/a/52239022/2414855
person
conetfun
schedule
08.09.2018
