Публикации по теме 'data-lake'
Прогностическое обслуживание роботизированной руки — решение Oracle Lakehouse для производства.
Прогностическое обслуживание роботизированной руки — решение Oracle Lakehouse для производства.
Следующий блог — моя попытка создать основу для модели машинного обучения с прогнозным обслуживанием и продемонстрировать/объяснить преимущества больших данных и архитектуры Lakehouse. Цель этого блога — помочь читателям увидеть искусство возможного с помощью Lakehouse, вдохновляя идеи в обрабатывающей промышленности. Моя цель состоит в том, чтобы поддерживать обзор высокого уровня, при..
Что такое озеро данных?
Озера данных обычно не структурированы и, таким образом, обеспечивают более простой способ хранения и анализа неструктурированных данных. Они также более гибкие, чем традиционные базы данных, в том смысле, что они позволяют нескольким пользователям одновременно обращаться к одним и тем же данным.
Озера данных — это тип системы хранения данных, предназначенный для хранения большого объема необработанных данных в их исходной форме.
Озера данных обычно создаются путем объединения различных..
Вопросы по теме 'data-lake'
AWS Data Lake Dynamo против ElasticSearch
Я действительно изо всех сил пытаюсь понять, как Dynamo / ElasticSearch следует использовать для поддержки усилий по озеру данных AWS (метаданные / каталоги). Кажется, что вы должны регистрировать отдельные местоположения S3 ваших zip-архивов для...
856 просмотров
schedule
12.06.2022
Каталог данных AWS Glue в качестве хранилища метаданных для внешних сервисов, таких как Databricks
Допустим, данные находятся на AWS. Использование S3 в качестве хранилища и Glue в качестве каталога данных. Итак, мы можем легко использовать athena, redshift или EMR для запроса данных на S3, используя Glue в качестве хранилища метаданных.
У...
1218 просмотров
schedule
05.11.2022
Как использовать форматы файлов JSON в контексте Azure Data Lake Analytics соответственно usql
У меня есть вход JSON, который выглядит как
{
"sessionId": 1234,
"deviceId": "MAC:1234",
"IoTHub": {
"MessageId": "1234-1234-1234-1234"
}
}
Как извлечь значения sessionId , deviceId и MessageId в сценарии usql...
586 просмотров
schedule
07.04.2023
Как выполнить задание U-SQL с кодом из .NET SDK
У меня есть задание U-SQL, в коде которого используются пользовательские экстракторы. И мне нужно запустить его по требованию из кода C#.
Я нашел способ отправить задание, передав скрипт в виде строки. Могу ли я как-то выполнить скрипт с помощью...
63 просмотров
schedule
19.11.2022
Задание AWS Glue Spark не поддерживает имя столбца в верхнем регистре с двойными кавычками
Постановка проблемы / основная причина: мы используем AWS Glue для загрузки данных из производственной базы данных PostGress в AWS DataLake. Glue внутренне использует задание Spark для перемещения данных. Однако наш процесс ETL не работает,...
1852 просмотров
schedule
19.12.2022