Публикации по теме 'azure-data-lake'
Как подключить Azure Data Lake Gen 2 или хранилище BLOB-объектов Azure к Azure Databricks
Хранилище BLOB-объектов Azure — это служба хранения, предоставляемая Microsoft Azure, которая используется для хранения больших объемов неструктурированных объектных данных, таких как текстовые или двоичные данные. Хранилище BLOB-объектов можно использовать для предоставления данных всему миру или для хранения данных приложений в частном порядке.
Azure Data Lake Storage Gen2 (также известное как ADLS Gen2) — это решение озера данных нового поколения для аналитики больших данных...
Вопросы по теме 'azure-data-lake'
Поддерживает ли U-Sql курсоры для перебора наборов данных и извлечения дополнительных данных на основе значений строк?
Поддерживают ли Azure Data Lake Analytics и U-SQL понятие курсоров в сценариях?
У меня есть набор данных, который содержит пути к другим наборам данных, которые я хотел бы извлечь, и я хочу вывести результаты в отдельные файлы.
На данный момент...
265 просмотров
schedule
22.10.2022
Azure Spark SQL и U-SQL
У меня есть много файлов данных, которые в конечном итоге будут передаваться и храниться в Azure Storage/Data Lake через регулярные промежутки времени. Я хочу предоставить возможность выполнять аналитику этих данных, но потом вижу, что в Azure есть...
4204 просмотров
schedule
24.12.2022
U-SQL — присоединиться МЕЖДУ
В SQL Server я просто JOIN с оператором BETWEEN, чтобы разбить временной диапазон на несколько интервальных записей. Запрос похож на
SELECT
a.UltimateID,
a.SiteID,
ProductID,
b.Date
FROM
ss_UsageTracking a
JOIN...
1196 просмотров
schedule
05.05.2023
Отладка заданий u-sql
Я хотел бы знать, есть ли какие-либо советы и рекомендации по поиску ошибок в заданиях аналитики озера данных. Сообщение об ошибке в большинстве случаев кажется не очень подробным.
При попытке извлечь из файла CSV я часто получаю такую ошибку...
1300 просмотров
schedule
25.06.2022
Где я могу просмотреть сведения об ошибках для заданий U-SQL Azure Data Lake Analytics в случае сбоя?
Один из способов — загрузить файл и запустить локальное задание, чтобы получить сведения об ошибке. Иногда трудно идти по этому пути. Есть ли место, где я могу увидеть сведения об ошибке, так как сведения, отображаемые на портале или на панели...
287 просмотров
schedule
20.07.2022
Как игнорировать недопустимые строки в U-SQL EXTRACT, которые не соответствуют схеме?
Я пытаюсь извлечь некоторые данные из файла CSV, используя следующий оператор U-SQL EXTRACT:
EXTRACT SessionId string,
Latitude double,
Longitude double,
Timestamp int
FROM...
2149 просмотров
schedule
25.09.2023
Модульное тестирование приложения и скриптов usql
У меня есть пользовательское приложение USql, которое расширяет класс IApplier .
[SqlUserDefinedApplier]
public class CsvApplier : IApplier
{
public CsvApplier()
{
//totalcount = count;
}
public override...
884 просмотров
schedule
18.04.2022
Как избежать добавления дубликатов в таблицы U-SQL
Есть ли способ избежать добавления повторяющихся записей в таблицы U-SQL, кроме добавления/усечения разделов. Предположим, что у обеих записей различаются только уникальные идентификаторы.
448 просмотров
schedule
26.05.2023
Перенос таблицы учетных записей хранения в озеро данных с помощью фабрики данных
Я пытаюсь использовать фабрику данных для переноса таблицы из учетных записей хранения в озеро данных. Microsoft утверждает, что можно «хранить файлы произвольных размеров и форматов в Data Lake». Я использую онлайн-мастер и пытаюсь создать...
171 просмотров
schedule
10.06.2022
Системная ошибка при локальном запуске сценария U-SQL
Когда я пытаюсь запустить сценарий U-SQL локально, я получаю следующую ошибку:
Start : 7/1/2016 12:53:49 PM
Initialize : 7/1/2016 12:53:49 PM
GraphParse : 7/1/2016 12:53:49 PM
Run : 7/1/2016 12:53:49 PM
Start 'Root' : 7/1/2016 12:53:50 PM
End...
492 просмотров
schedule
22.07.2023
Сведения о соединении ODBC/JDBC для USQL
Мы используем Microsoft Azure USQL для тестирования базы данных. Кто-нибудь может предоставить информацию о соединении ODBC/JDBC для USQL?
337 просмотров
schedule
14.06.2022
Настроить динамическое количество параметров в конвейере фабрики данных Azure на основе интервалов?
В нашем случае использования требуется, чтобы настраиваемые входные данные передавались в скрипт U-SQL через Фабрику данных Azure. Мы оцениваем осуществимость, и нам необходимо автоматизировать количество переменных, передаваемых в сценарий U-SQL, в...
1164 просмотров
schedule
03.06.2022
Данные вызова USql в многомерном массиве JSON
У меня есть этот файл JSON в озере данных, который выглядит так:
{
"id":"398507",
"contenttype":"POST",
"posttype":"post",
"uri":"http://twitter.com/etc",
"title":null,
"profile":{
"@class":"PublisherV2_0",
"name":"Company",...
877 просмотров
schedule
16.10.2022
Ошибка: InvalidAuthenticationTokenTenant 'Токен доступа от неправильного эмитента
Я использую Node js для аутентификации в Azure AD, чтобы создать учетную запись хранения озера данных, он входит в систему, но при создании учетной записи выдает ошибку: code: 'InvalidAuthenticationTokenTenant', сообщение: 'Токен доступа неверный...
2859 просмотров
schedule
28.08.2022
Удаление нулевых столбцов с помощью U-SQL
У меня есть много файлов, которые я пытаюсь объединить. Я знаю, что многие столбцы в каждом из этих файлов не содержат ничего, кроме нулевых значений, и я могу обойтись без них. Как я могу написать оператор U-SQL для извлечения данных из файлов,...
1560 просмотров
schedule
01.07.2023
Исключение нехватки памяти при выполнении действия U-SQL с использованием фабрики данных Azure
Я выполняю действие U-SQL как часть конвейера в фабрике данных Azure в течение определенного отрезка времени. Действие U-SQL запускает последовательность сценариев U-SQL, которые считывают и обрабатывают данные, хранящиеся в Azure Data Lake. В то...
613 просмотров
schedule
05.01.2023
U-SQL Intellisense от псевдонима
Если я использую псевдоним в U-SQL, IntelliSense ничего не запрашивает. Например,
@query =
SELECT PropertyOne,
PropertyTwo
FROM @some_table;
@intellisense_test =
SELECT PropertyOne
FROM @query;
В этом случае intellisense...
157 просмотров
schedule
01.05.2023
Создание сборки USQL из DLL в хранилище BLOB-объектов Azure
Я пытаюсь создать сборку базы данных Data Lake Analytics из библиотеки DLL, расположенной в Azure Blob Storage .
Согласно справочному руководству по языку USQL, это возможно, хотя и не приводит примеров того, что нужно указать в справочнике...
555 просмотров
schedule
28.05.2022
как использовать приложения Azure Logic для загрузки файлов в озеро данных Azure
Есть ли какой-либо соединитель для хранения / отправки файлов из приложений Azure Logic напрямую в озеро данных Azure или есть ли другой способ сделать это?
1720 просмотров
schedule
12.04.2022
Добавить данные в существующий файл в U-SQL
Можем ли мы добавить данные в существующий файл на U-SQL? Я создал файл CSV в качестве вывода в U-SQL. Я пишу еще один запрос U-SQL и хочу добавить результат этого запроса в существующий файл. Является ли это возможным?
1422 просмотров
schedule
14.04.2022
