Публикации по теме 'data-lake'


Прогностическое обслуживание роботизированной руки — решение Oracle Lakehouse для производства.
Прогностическое обслуживание роботизированной руки — решение Oracle Lakehouse для производства. Следующий блог — моя попытка создать основу для модели машинного обучения с прогнозным обслуживанием и продемонстрировать/объяснить преимущества больших данных и архитектуры Lakehouse. Цель этого блога — помочь читателям увидеть искусство возможного с помощью Lakehouse, вдохновляя идеи в обрабатывающей промышленности. Моя цель состоит в том, чтобы поддерживать обзор высокого уровня, при..

Что такое озеро данных?
Озера данных обычно не структурированы и, таким образом, обеспечивают более простой способ хранения и анализа неструктурированных данных. Они также более гибкие, чем традиционные базы данных, в том смысле, что они позволяют нескольким пользователям одновременно обращаться к одним и тем же данным. Озера данных — это тип системы хранения данных, предназначенный для хранения большого объема необработанных данных в их исходной форме. Озера данных обычно создаются путем объединения различных..

Вопросы по теме 'data-lake'

AWS Data Lake Dynamo против ElasticSearch
Я действительно изо всех сил пытаюсь понять, как Dynamo / ElasticSearch следует использовать для поддержки усилий по озеру данных AWS (метаданные / каталоги). Кажется, что вы должны регистрировать отдельные местоположения S3 ваших zip-архивов для...
856 просмотров

Каталог данных AWS Glue в качестве хранилища метаданных для внешних сервисов, таких как Databricks
Допустим, данные находятся на AWS. Использование S3 в качестве хранилища и Glue в качестве каталога данных. Итак, мы можем легко использовать athena, redshift или EMR для запроса данных на S3, используя Glue в качестве хранилища метаданных. У...
1218 просмотров

Как использовать форматы файлов JSON в контексте Azure Data Lake Analytics соответственно usql
У меня есть вход JSON, который выглядит как { "sessionId": 1234, "deviceId": "MAC:1234", "IoTHub": { "MessageId": "1234-1234-1234-1234" } } Как извлечь значения sessionId , deviceId и MessageId в сценарии usql...
586 просмотров
schedule 07.04.2023

Как выполнить задание U-SQL с кодом из .NET SDK
У меня есть задание U-SQL, в коде которого используются пользовательские экстракторы. И мне нужно запустить его по требованию из кода C#. Я нашел способ отправить задание, передав скрипт в виде строки. Могу ли я как-то выполнить скрипт с помощью...
63 просмотров
schedule 19.11.2022

Задание AWS Glue Spark не поддерживает имя столбца в верхнем регистре с двойными кавычками
Постановка проблемы / основная причина: мы используем AWS Glue для загрузки данных из производственной базы данных PostGress в AWS DataLake. Glue внутренне использует задание Spark для перемещения данных. Однако наш процесс ETL не работает,...
1852 просмотров