Каков наилучший подход к извлечению системного представления SQL Server хранилища метаданных Hive с использованием одного из: Impala, Hive, Pig? Примечание. У меня нет доступа к HDFS по ssh.

Допустим, данные находятся на AWS. Использование S3 в качестве хранилища и Glue в качестве каталога данных. Итак, мы можем легко использовать athena, redshift или EMR для запроса данных на S3, используя Glue в качестве хранилища метаданных. У...

Я пытаюсь создать сохраненное задание sqoop (инкрементное) и использовать хранилище метаданных sqoop в качестве репозитория. (из соображений безопасности «xyz» — это пользователь unix, выполняющий задание, а sample_table используется для справки)...

Я пытаюсь понять, как запрашивать комментарии (описания) к таблицам и столбцам в HIVE Metastore. Если есть способ добавить комментарии к таблицам/столбцам HIVE, не должен ли быть способ запрашивать/отчитываться о комментариях из HIVE Metastore?...

FAILED: RuntimeException MetaException (сообщение: org.apache.hadoop.hive.serde2.SerDeException Обнаружена схема определения AvroSerdeException. Возврат схемы сигнала для указания проблемы: невозможно прочитать схему по указанному пути:...

У меня есть таблица Hive, разделенная столбцом dt . Мне нужно добавить раздел, если он не существует, например, dt='20181219' . Теперь я использую HiveMetaStoreClient#getPartition(dbName, tableName, 20181219) . Если раздела не существует, то...

Я пытаюсь запустить простой код, чтобы просто показать базы данных, которые я создал ранее на моем сервере hive2. (обратите внимание, что в этом примере есть оба примера на python и scala с одинаковыми результатами). Если я вхожу в оболочку улья...

Из Redshift я создал внешнюю схему с помощью Hive Metastore. Я могу видеть метаданные Redshift о таблицах (например, используя: select * from SVV_EXTERNAL_TABLES), однако при запросе одной из этих таблиц я получаю неоднозначную ошибку «error: Assert»...