Указание размера экземпляра HDInsight 3.2 с помощью powershell

Согласно новой схеме ценообразования HDInsight и примечания к выпуску теперь можно указать размер экземпляра (A3–A9 и Д3-Д14). Однако я не смог найти способ указать размер экземпляра при создании нового кластера с помощью команды powershell New-AzureHDInsightCluster. Я обнаружил, что теперь он принимает -DataNodeVMSize, однако это не так. понимает такие ключевые слова, как «A7», а при указании «Extra Large» создает стандартный кластер A3. Любые предложения, действительно ли возможно указать размер экземпляра на данный момент?

«Доступные» размеры ВМ https://msdn.microsoft.com/en-us/library/azure/dn197896.aspx

Вот сценарий, который я запускаю:

$VmSize = "Маленький";

New-AzureHDInsightCluster -Name $clusterName `
              -ClusterType Hadoop `
              -Version $MyClusterVersion `
              -Location $MyClusterLocation `
              -ClusterSizeInNodes $NumClusterNodes `
              -Credential $HdInsightCreds `
              -DefaultStorageAccountName $DefaultStorageAccountFqdn `
              -DefaultStorageAccountKey $storageAccountKey `
              -DefaultStorageContainerName $hadoopContainer' `
              -DataNodeVMSize $VmSize `
              -HeadNodeVMSize $HeadNodeVmSize

azure azure-hdinsight
person Victor F    schedule 19.02.2015    source источник

Ответы (3)


arrow_upward
2
arrow_downward

Как вы уже упоминали, на данный момент кластеры HDInsight поддерживают только узлы в пределах A3-A9 и D3-D14.

Предоставленная вами ссылка довольно четко показывает коды, связанные с каждым типом и размером узла. Код Small относится к типу экземпляра A1\Small, который не поддерживается HDInsight. Таким образом, он может рассмотреть возможность использования наименьшего доступного экземпляра, которым в данном случае является A3\Large.

Вам следует попробовать указать другие экземпляры, попадающие в диапазоны, поддерживаемые кластером HDInsight. Я вижу, вы уже пробовали с extra large. Вы можете попробовать ввести код в соответствии с указателем кодов, доступным здесь (в разделе Размеры экземпляров веб-ролей и рабочих ролей), например.

A3: Large
A4: Extralarge
person Mikel Urkia    schedule 24.02.2015
comment
эта запись в блоге может содержать дополнительную информацию: blogs.msdn.com/b/bigdatasupport/archive/2015/05/11/ - person benjguin; 16.07.2015

arrow_upward
0
arrow_downward

Работает ли это, если вы используете значения из Размеры для веб-экземпляров и экземпляров рабочих ролей, например "ExtraLarge" (без пробела), "A6" или "Standard_D3"?

Похоже, что поддерживаемые в настоящее время размеры узлов перечислены по адресу: http://azure.microsoft.com/en-us/pricing/details/hdinsight/, но вы должны использовать идентификаторы из раздела Размеры экземпляров веб-ролей и рабочих ролей, не< /em> раздел Размеры виртуальных машин в https://msdn.microsoft.com/en-us/library/azure/dn197896.aspx.

person RickH    schedule 19.02.2015
comment
Даже при указании Small все равно создается A3 (4 ядра, 7 ГБ памяти) - person Victor F; 20.02.2015
comment
Вы используете 0.8.14? Можете ли вы поделиться своим кодом? Если вы выполняете какую-либо конвейерную обработку после New-AzureHDInsightConfig, это может быть удаление параметра . Если вы сохраните конфигурацию в $config, вы можете сбросить ее, выполнив $config.DataNodeVMSize = "Small" перед вызовом New-AzureHDInsightCluster. Кроме того, вы можете проверить объект конфигурации, подключив его к format-custom вместо New-AzureHDInsightCluster. (например: $config | format-custom) - person RickH; 20.02.2015
comment
Да, я использую 0.8.14. Я добавил код, который я использую, к исходному вопросу. Спасибо! - person Victor F; 23.02.2015
comment
Вы получаете исключение, такое как Unable to complete the cluster create operation. Operation failed with code '400'. Cluster left behind state: 'Error'. Message: 'UnsupportedNodeSizeSpecified'.? Это будет означать, что вы выбираете неподдерживаемый размер узла. Похоже, что поддерживаемые в настоящее время типы узлов перечислены по адресу: azure.microsoft. .com/en-us/pricing/details/hdinsight Я только что провел тесты с ExtraLarge, A6 и Standard_D3, и все, похоже, работает. - person RickH; 24.02.2015
comment
Также в приведенном выше коде есть то, что кажется ошибочным символом ', который может вызывать проблему, если он действительно находится в коде, который вы тестируете. (После $hadoopContainer) - person RickH; 24.02.2015
comment
Для размера головного узла сработало значение «сверхбольшой», и был создан головной узел A4, но для размера узла данных значения «очень большой», «сверхбольшой», «a4», «A4» были проигнорированы, и был создан узел данных «A3». Возможно просто нужно дождаться официальной поддержки параметра -DataNodeVMSize. Спасибо, ребята, за вашу помощь. - person Victor F; 25.02.2015

arrow_upward
0
arrow_downward

Вы можете использовать команду PowerShell New-AzureRmHDInsightCluster для создания кластера. и может предоставить значение для -HeadNodeSize, -WorkerNodeSize. Перейдите по ссылке для VmSizes https://azure.microsoft.com/en-us/documentation/articles/cloud-services-sizes-specs/.

Для машины D14 вы можете указать размер Standard_D14, указанный в столбце «Размер» в статье выше.

person user5430505    schedule 23.12.2015