Как запросить другое S3-совместимое хранилище объектов с помощью Prestosql

Задний план

prestosql отлично работает с данными в S3 и S3-совместимом хранилище объектов (например, облачном хранилище объектов IBM) при использовании префикса URI s3a:// с конфигурацией S3 с одной парой ключей HMAC через hive.s3.aws-access-key и hive.s3.aws-secret-key, следуя руководству prestosql Конфигурация Amazon S3 - коннектор Hive.

Вопрос

Когда данные обслуживаются в двух разных сегментах в двух облачных учетных записях, это означает, что клиент должен использовать две разные пары ключей HMAC для доступа к объектам. Означает ли это, что он должен настроить два каталога через коннектор улья в prestosql?

Это частый случай использования облака IBM, когда службы хранилища объектов управляются как экземпляры для разных облачных учетных записей.


presto object-storage ibm-cloud-storage trino
person shawnzhu    schedule 28.06.2019    source источник

Ответы (1)


arrow_upward
2
arrow_downward

Да, вам необходимо настроить два отдельных каталога ульев.

В качестве альтернативы вы можете использовать дополнительные учетные данные, предоставленные клиентом (сейчас это поддерживается для GCS, но может быть легко расширено до S3-совместимого).

person Piotr Findeisen    schedule 28.06.2019
comment
Спасибо за ответ! Другой путь, который мы обнаружили, - это использование stocator в качестве альтернативного клиента хранилища объектов для presto. он предоставляет функцию, называемую мультисервисными конечными точками, которая позволяет Spark запрашивать несколько s3-совместимых конечных точек службы хранилища объектов. см. github.com/CODAIT/stocator#using-multiple-service-names Хотя это разработано для Spark, оно работает и для Presto. попытается вставить ответ, как только у нас будет рабочее решение. - person shawnzhu; 06.08.2019