Кто-нибудь знает, насколько велика скорость копирования с Amazon S3 на Redshift?
Я хочу использовать RedShift только около часа в день, чтобы обновлять отчеты Табелау. Выполняемые запросы всегда находятся в одной и той же базе данных, но мне нужно запускать их каждую ночь, чтобы учитывать новые данные, поступающие в этот день.
Я не хочу, чтобы кластер работал круглосуточно, просто чтобы использовать его в течение одного часа в день, но единственный способ, который я вижу для этого, - каждую ночь импортировать всю базу данных в Redshift (я не думаю, что вы можете не приостанавливать или приостанавливать кластер). Я понятия не имею, какова скорость копирования, поэтому я понятия не имею, будет ли относительно быстро копировать файл размером 10 ГБ в Redshift каждую ночь.
Предполагая, что это возможно, я думаю, что инкрементные изменения базы данных SQL Server будут перенесены на S3. Используя Cloud Formation, я автоматизирую подготовку кластера Redshift в 01:00 в течение 1 часа, импортирую базу данных из S3 и планирую Tableau для выполнения своих запросов между этим временем и получения результатов. Я слежу за тем, сколько времени занимают запросы, и если мне нужно больше часа, я просто изменяю формирование облака.
Таким образом, я надеюсь сохранить действительно «экономичный» сервер Tableau, передав весь ETL на аутсорсинг Redshift и покупая только то, что я потребляю на Redshift.
Пожалуйста, не стесняйтесь критиковать мое решение или выдувать его прямо из воды. В противном случае, если консенсус состоит в том, что импорт достаточно быстрый, это дает мне большие пальцы, и я двигаюсь в правильном направлении с этим решением.
Спасибо за любую помощь!
