Вопросы по теме 'amazon-athena'
Что на самом деле делает WITH SERDEPROPERTIES («paths» = «key1, key2, key3») в Hive DDL json serde?
Очень признателен, если кто-нибудь может дать ссылку на этот пункт. Я искал в Интернете с небольшой удачей.
1800 просмотров
schedule
20.12.2022
Кэширует ли Presto промежуточные результаты из коробки?
Presto имеет несколько коннекторов . Хотя соединители реализуют операции чтения и записи, из всех читаемых мной руководств кажется, что они обычно используются в качестве источников данных только для чтения. Например, netflix . имеет «10...
3766 просмотров
schedule
27.04.2022
Как выполнить запрос через Amazon Athena с рубином?
как подключить Amazon Athena к Ruby и выполнить запрос через Amazon Athena и получить результат.
мы не смогли найти ни одного драгоценного камня или примера с помощью нам, чтобы подключить Amazon Athena в рубине.
Пожалуйста, предоставьте любую...
2329 просмотров
schedule
06.07.2022
Как повысить производительность запросов к данным s3 от Athena
Я разделил данные, хранящиеся в S3, в формате улья, подобном этому.
bucket/year=2017/month=3/date=1/filename.json
bucket/year=2017/month=3/date=2/filename1.json
bucket/year=2017/month=3/date=3/filename2.json
Каждый раздел содержит около 1 000...
2400 просмотров
schedule
23.03.2022
Presto / Athena - запрос для обнаружения частот атрибутов JSON?
Я определил таблицу Hive, в которой один столбец содержит текст JSON:
CREATE EXTERNAL TABLE IF NOT EXISTS my.rawdata (
json string
)
PARTITIONED BY (dt string)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES (...
2440 просмотров
schedule
09.03.2022
AWS Athena - Как параметризовать SQL-запрос
Я хочу предоставить значения времени выполнения для запроса в операторах Select & Create table. Каковы способы параметризации запросов Athena SQL? Я пробовал использовать выражения PREPARE и EXECUTE из Presto, но он не работает в консоли Athena....
3956 просмотров
schedule
26.02.2023
Как лучше обновить разделы?
Я хочу обновить разделы, используя приведенный ниже код.
msck repair table_name
(Я не могу использовать другие параметры, такие как оператор обновления, подобный этому)
Но я не знаю, как лучше всего обновить разделы.
1) Я запускаю этот...
1649 просмотров
schedule
10.12.2023
AWS Athena не распознается в Boto3?
Я пытаюсь использовать AWS Athena как из CLI, так и через boto3, но по какой-то причине он не распознается. Я обновился до последней версии boto3
boto3.__version__
>>'1.4.4'
aws --version
>>aws-cli/1.11.56 Python/3.6.0 Darwin/15.6.0...
1380 просмотров
schedule
18.07.2022
Какой запрос выполнить, чтобы определить версию Amazon Athena?
Я хочу определить, к какой версии Amazon Athena я подключен, выполнив запрос. Это возможно? Если да, то каков запрос?
Поиск в документах Google, SO и AWS не нашел ответа.
306 просмотров
schedule
26.07.2022
Сжатый запрос экспорта Amazon Athena (таблица)
Когда я делаю запрос вроде:
SELECT * FROM mytable
выходные данные сохраняются в корзине Amazon S3 в виде простого CSV-файла.
Есть ли возможность сохранить csv в сжатом формате (gzip)?
887 просмотров
schedule
05.02.2023
как читать управляющий символ в Афине
Привет, я создал таблицу в Athena со следующим запросом, который будет читать CSV-файл в форме S3.
CREATE EXTERNAL TABLE IF NOT EXISTS axlargetable.AEGIntJnlTblStaging (
`filename` string,
)
ROW FORMAT SERDE...
4569 просмотров
schedule
24.06.2023
Афина - правильные значения столбца DATE из JSON
У меня есть ведро S3 со многими файлами JSON.
Пример файла JSON:
{"id":"x109pri", "import_date":"2017-11-06"}
Поле «import_date» имеет тип ДАТА в стандартном формате ГГГГ-ММ-ДД.
Я создаю соединение с базой данных в Афине, чтобы связать...
1084 просмотров
schedule
26.09.2023
AWS Athena возвращает нулевые записи из таблиц, созданных на основе входного CSV-файла GLUE Crawler из S3
Часть первая:
Я попытался запустить glue crawler на фиктивном csv, загруженном в s3, он создал таблицу, но когда я пытаюсь просмотреть таблицу в athena и запрашивать ее, он показывает возвращенные нулевые записи.
Но демонстрационные данные ELB...
11070 просмотров
schedule
23.07.2023
Как установить DDL даты в Amazon Athena
Я попытался создать таблицу в Amazon Athena, используя этот DDL, однако после запроса я вижу, что все мои значения дат (в поле transactiondate) равны NULL. Формат исходных данных - просто мм / дд / гггг, т.е. 01.08.2017.
Любые идеи?
СОЗДАТЬ...
753 просмотров
schedule
10.11.2022
(AWS) Афина: результаты запроса кажутся слишком короткими
Результаты моих запросов по Афине слишком короткие. Пытаюсь понять, почему?
Настраивать:
Каталоги клея (размером 118,6 Гб). Данные: хранятся в S3 как в формате CSV, так и в формате JSON. Athena Query: когда я запрашиваю данные для всей...
2827 просмотров
schedule
02.11.2023
Выгрузка файлов данных из Amazon Redshift в Amazon S3 в формате Parquet
Я хотел бы выгрузить файлы данных из Amazon Redshift в Amazon S3 в формате Apache Parquet, чтобы запросить файлы на S3 с помощью Redshift Spectrum. Я исследовал все, но не смог найти ничего о том, как выгрузить файлы из Amazon Redshift в S3 с помощью...
8126 просмотров
schedule
18.04.2023
AWS Athena - лучшие практики для типов данных
Я планирую использовать большой набор данных в сотни гигабайт в Amazon S3 / Athena, и у меня есть вопрос к опытным практикам относительно передовых методов хранения данных (с точки зрения затрат и производительности).
Мой набор данных строк...
726 просмотров
schedule
19.02.2022
Загрузить вывод Athena в таблицу Athena
Я использовал Athena для запроса таблицы и получил выходной файл в виде CSV, который выглядит следующим образом:
"col_a_string","col_b_string","col_c_timestamp","col_d_int"
Теперь я хочу взять файл csv и загрузить его в другую таблицу Athena,...
1170 просмотров
schedule
20.03.2022
Athena SQL - Самостоятельное присоединение подзапроса с использованием внешнего столбца
Итак, я каталогизировал данные в корзине S3, которая очень похожа на эти данные здесь:
+-----+-----------+---------+-----------------------+
| id | title | event | time |...
3032 просмотров
schedule
30.10.2022
sql-запрос для создания карты массива в aws athena (presto)
У меня есть таблица в aws athena со следующими столбцами
Company name Employee Name Salary
------------------------------------
Apple | John | 50
Apple | Dima | 100
Microsoft | Bart | 75
Google |...
1619 просмотров
schedule
03.04.2022
