Вопросы по теме 'azure-hdinsight'
Используйте SDK Hadoop с локальным сервером HDInsight.
Можно ли использовать пакет SDK Hadoop, особенно LINQ to Hive, с локальной установкой HDInsight Server. Обратите внимание, что я не имею в виду службу HDInsight, размещенную в Azure.
Я пытался использовать LINQ to Hive из пакета Nuget...
1053 просмотров
schedule
03.04.2022
API Hadoop HDInsight .NET SDK для отправки задания
Я использую API-интерфейсы HDInsight .NET Hadoop для отправки задания Map Reduce в приложении asp.net.
с помощью Microsoft.Hadoop.Mapreduce;
var hadoop = Hadoop.Connect();
результат var = hadoop.MapReduceJob.ExecuteJob ();
//также пробовал...
958 просмотров
schedule
19.02.2023
Подключение ODBC Hive к HDInsight
Я настраиваю SQL-сервер виртуальной машины в Azure и хочу, чтобы он мог подключаться к Hive в кластере HDInsight. Я пытаюсь настроить ODBC DSN, но не уверен, что это за различные настройки и как их найти на моем портале Azure:
Имя хоста
Имя...
912 просмотров
schedule
06.01.2023
Подключение к эмулятору HDInsight
Я пытаюсь подключиться к С#.
Вот класс, который успешно отправляет запросы куста в мой удаленный кластер HDInsight. что мне нужно изменить здесь, чтобы подключиться к локальному эмулятору
public class HadoopImporter : IImporter
{
public...
763 просмотров
schedule
02.09.2022
Программный запуск заданий HDInsight - файл .jar на узле кластера, а не в хранилище больших двоичных объектов
Я следил за этим руководством при отправке заданий mapreduce в HDInsight из консольного приложения .NET.
Он работает нормально, но мне интересно узнать об этой строке:
var jobDefinition = new MapReduceJobCreateParameters()
{...
851 просмотров
schedule
30.05.2023
Создание перегородок улья на несколько месяцев с помощью одного скрипта
Имею данные за 4 года. Нравиться
'2011
2012
2013
2014'
Мне нужно выполнять запросы на основе данных за один месяц. Итак, я создаю разделы, как показано ниже.
'ALTER TABLE table1_2010Jan ADD PARTITION(year='2010', month='01',...
2116 просмотров
schedule
22.04.2022
Node.js и HBase в Azure (HDInsight)
Я пытаюсь получить доступ к HBase в Microsoft Azure из Node.js. Я просмотрел разные библиотеки, такие как hbase, а также REST API (webhcat). Чего я хочу добиться, так это создать таблицу и загрузить данные из Node. Позже я хочу делать запросы к...
586 просмотров
schedule
30.07.2022
Кластер HDInsight — подключение хранилища
Можно ли подключить дополнительный контейнер больших двоичных объектов к работающему кластеру HDInsight? Я не нашел никакого решения.
Мне нужно подключить существующий контейнер больших двоичных объектов с помощью SAS (подписи общего доступа)....
349 просмотров
schedule
03.05.2022
Не удалось перестроить индекс в Hive в Azure HDInsight с помощью Tez
Я пытаюсь создать индексы в Hive в Azure HDInsight с включенным Tez. Я могу успешно создавать индексы, но не могу их перестроить: задание не удалось с этим выводом:
Map 1: -/- Reducer 2: 0/1
Status: Failed
Vertex failed, vertexName=Map 1,...
1149 просмотров
schedule
04.06.2022
Проблемы при обновлении до HDInsight 3.2 (Hive 0.14.0, Tez 0.5.2)
Я перешел с HDInsight 3.1 на HDInsight 3.2 (Tez 0.5.2, Hive 0.14.0) и начал получать следующую ошибку при выполнении запроса hive. Когда я исключил столбцы, содержащие данные для MAP или ARRAY - все было нормально.
Неожиданное исключение:...
344 просмотров
schedule
01.09.2022
Указание размера экземпляра HDInsight 3.2 с помощью powershell
Согласно новой схеме ценообразования HDInsight и примечания к выпуску теперь можно указать размер экземпляра (A3–A9 и Д3-Д14). Однако я не смог найти способ указать размер экземпляра при создании нового кластера с помощью команды powershell...
838 просмотров
schedule
20.06.2022
Запустить исполняемый файл в коде Java на Hadoop
Я пытаюсь запустить exe из своего Java-кода на Hadoop (реализация HDInsight). У меня нет исходников exe-файла, поэтому я должен запустить его как есть. На входе exe должен быть файл, поэтому я не могу использовать потоковую передачу. Я пытался...
536 просмотров
schedule
10.09.2022
Замените символ свиньи в HDInsight с помощью powershell
Мои данные в следующем формате..
{"Foo":"ABC","Bar":"20090101100000","Quux":"{\"QuuxId\":1234,\"QuuxName\":\"Sam\"}"}
Мне нужно, чтобы это было в таком формате:
{"Foo":"ABC","Bar":"20090101100000","Quux":{"QuuxId":1234,"QuuxName":"Sam"}}...
64 просмотров
schedule
17.07.2023
Сериализатор Microsoft Hadoop Avro не поддерживает IEnumerable‹string›
У меня есть класс simlpe с типом свойства IEnumerable. При попытке создать сериализатор с отражением (см. Microsoft .NET SDK для Hadoop ) завершается сбоем со следующим исключением.
Не удалось найти подходящий известный тип для...
1104 просмотров
schedule
29.06.2022
Хранилище с использованием HDInsight Hadoop
Мне очень любопытно узнать одну информацию о hadoop hdinsight.
Эта статья от Microsoft: https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-use-blob-storage/
объясняет, что внутри Hadoop используется учетная запись...
76 просмотров
schedule
31.07.2023
Как использовать переменные в улье?
Я пытаюсь использовать переменные в своем сценарии Hive. Но почему-то не работает.
SET $app_count=select max(app_id) from app_table;
SELECT '${hiveconf:app_count}',app_name,ROW_NUMBER() OVER (ORDER BY app_name) FROM new_apps;
Выход
_c0...
480 просмотров
schedule
05.08.2022
Синтаксис в Azure HDInsight
Есть ли способ использовать Pyparsing в Azure HDInsight? Если нет, есть ли способ установить пакет Pyparsing при создании кластера HDInsight
Спасибо.
58 просмотров
schedule
10.02.2023
HDInsight — Hive Создание внешней таблицы WASB
У меня проблемы с созданием внешней таблицы. моя служба хранения называется: sXX01, мой контейнер по умолчанию — jdXX, большой двоичный объект называется Insurance.csv Сценарий куста:
drop table if exists Insurance;
create external table...
455 просмотров
schedule
17.07.2023
SDK HDInsight [SDK Microsoft .NET для Hadoop]
Как упоминалось в этой статье (Раздел: Компиляция схем с использованием библиотеки Avro) — https://azure.microsoft.com/en-us/documentation/articles/hdinsight-dotnet-avro-serialization/
Загрузите ZIP-файл с последней версией исходного кода...
323 просмотров
schedule
12.10.2023
Не удается подключиться к моему кластеру HDInsight с помощью Hive ODBC
Используя Microsoft Hive ODBC Driver DSN Setup , я пытаюсь подключиться к моему кластеру HDInsight, чтобы импортировать таблицу Hive на лист Excel. Все Excel настроено правильно, поэтому я не беспокоюсь об этом. Моя проблема в том, что когда я...
1045 просмотров
schedule
25.03.2023
