Hadoop при ошибке сборки/установки Windows

Мне понадобился целый день, чтобы собрать его... У Microsoft, очевидно, много проблем с обратной совместимостью. Было бы полезно, если бы Hadoop перешел на более новую цепочку инструментов.

Вот ключевые шаги, которые мне пришлось выполнить (помимо тех, что упомянуты в документе). Это использует компилятор Windows SDK, а не VS 2010 (предполагается, что это возможно с VS 2010, но я не пробовал):

1. Удалите Visual Studio 2013 (я бы порекомендовал удалить любую Visual Studio >= 2010) — это нужно, чтобы избавиться от ошибки MSBUILD : Configuration error MSB4146: Cannot evaluate the property expression "$([MSBuild]::ValueOrDefault('$(VCTargetsPath)','$(MSBuildExtensionsPath32)\Microsoft.Cpp\v4.0\V120\'))"
2. Удалите распространяемый Visual Studio C++ 2010 (x64 + x86), чтобы избежать ошибки при установке Windows SDK 7.1
3. Полностью удалите .NET Framework 4.5, чтобы избежать сбоя при преобразовании в COFF: файл недействителен или поврежден
4. Перезагрузить
5. Установите .NET Framework 4.0
6. Установите Windows SDK 7.1

Я добавил в свой PATH (в оболочке Windows SDK) папку bin моей установки Git (для инструментов GNU), папку bin CMake и папку, содержащую protoc.exe. Кроме того (но большинству людей это не нужно), мне пришлось настроить Maven для использования моего HTTP-прокси, сначала отредактировав settings.xml, как указано в документации Maven, а также определив переменную среды MAVEN_OPTS=-Dmy.proxy.host -Dhttp.proxyPort=my.proxy.port, иначе в какой-то момент был тайм-аут. во время сборки.

Обратите внимание, что я заметил большое количество предупреждений во время сборки: я подозреваю, что некоторые из них были вызваны использованием Java SDK 1.8 вместо 1.7. Однако после того, как я, наконец, увидел BUILD SUCCESS, мне не хотелось снова пробовать с 1.7.

Мне удалось создать его с помощью версии сообщества Visual Studio 2015.

Вот как я его построил:

Моя среда

Вот мой список покупок:

• Windows 10
• JDK 1.8.0_51
• Мавен 3.3.3
• Findbugs 1.3.9 (я этим не пользовался)
• ProtocolBuffer 2.5.0 (здесь я не выбирал самую последнюю и лучшую версию — она должна быть 2.5.0)
• CMake 3.3.0
• Visual Studio 2015 Community Edition
• GnuWin32 0.6.3 - немного болезненная установка, но cygwin тоже.
• zlib 1.2.8
• интернет-соединение

Переменные системной среды Windows

• JAVA_HOME = "C:\Program Files\Java\jdk1.8.0_51"
• MAVEN_HOME = c:\apache-maven-3.3.3

(убедитесь, что вы указываете выше на свою версию JDK и установку maven)

Я добавил следующее к переменной Path в моей системной среде Windows:

;%MAVEN_HOME%\bin;C:\Windows\Microsoft.NET\Framework64\v4.0.30319;c:\zlib

Странный путь «C:\Windows\Microsoft.NET\Framework64\v4.0.30319» — это расположение MSBuild.exe, которое требуется в процессе сборки.

Буферы Protoc 2.5.0

О нет, еще одна сборка только для Unix/Linux? Я скачал пакет Google с именем protoc-2.5.0-win32.zip. Затем извлек бинарный файл (protoc.exe) в c:\windows\system32 - просто ленивый способ поместить его по пути.

Я не уверен на 100% в эффекте наличия компонента win32 для этой сборки win64. Но: «Hadoop 0.23+ требует, чтобы JAR буферов протокола (protobufs.jar) находился в пути к классам как клиентов, так и серверов; собственные двоичные файлы необходимы для компиляции этой и более поздних версий Hadoop». - http://wiki.apache.org/hadoop/ProtocolBuffers.

Итак, я понимаю, что исполняемый файл win32 используется только во время процесса сборки (эквивалент jar должен быть упакован в сборку).

Если он каким-либо образом используется для компиляции нативного кода, мы могли оставить некоторые указатели не по порядку. Я вернусь к этому, когда смогу.

Настройка исходных кодов Hadoop

Ну, это было необходимо, чтобы позволить сборке выполняться. Это не должно влиять на качество самой сборки, но давайте иметь в виду, что в результате получился неофициальный, неподдерживаемый хауоп, предназначенный для среды разработки, на свой страх и риск.

Миграция проектов VS

В Visual Studio 2015 необходимо открыть следующие файлы:

\hadoop-common-project\hadoop-common\src\main\winutils\winutils.vcxproj \hadoop-common-project\hadoop-common\src\main\native\native.vcxproj

Visual Studio будет жаловаться на их старую версию. Все, что вам нужно сделать, это сохранить все и закрыть.

Включение генерации проекта cmake VS 2015 для hdfs

В строке 441 файла \hadoop-hdfs-project\hadoop-hdfs\pom.xml измените значение else следующим образом:

‹condition property="generator" value="Visual Studio 10" else="Visual Studio 14 2015 Win64"›

(значение "значение" относится к win32 - вы можете отредактировать его при сборке для win32).

Создание

Вы должны попытаться найти в Windows «Командную строку разработки для VS2015». Мне все еще интересно, что в этом такого особенного, но дело в том, что это будет работать только с этим.

Дополнительные переменные среды Это следует сделать в командной строке:

установить платформу = x64

установите ZLIB_HOME=C:\zlib\include (в отличие от официальных инструкций, это должно указывать на включаемую папку).

Наконец-то построил

Перейдите в исходную папку Hadoop и введите:

mvn package -Pdist,native-win -DskipTests -Dtar

Что дальше?

Следуйте официальной документации, чтобы настроить и запустить свой экземпляр Hadoop.

Я постараюсь сохранить ссылку на бинарники в своем блоге:

http://kplitzkahran.blogspot.co.uk/2015/08/hadoop-271-for-windows-10-binary-build.html

Я успешно собрал Hadoop 3.0.2 с помощью Visual Studio 2017 в Windows 10.

Вот как выглядят мои настройки:

1. Windows 10
2. Версия сообщества Visual Studio 2017
3. Мавен 3.5.0
4. JDK 1.8.0_144
5. Cmake 3.10.0-rc1
6. Буфер протокола 2.5.0
7. Сигвин

Сначала я открываю эти два файла решения в VS 2017 и сохраняю.

hadoop-3.0.2-src\hadoop-common-project\hadoop-common\src\main\winutils\winutils.sln

а также

hadoop-3.0.2-src\hadoop-common-project\hadoop-common\src\main\native\native.sln

Это перенесет эти два проекта из VS 2010 в VS 2017.

Во-вторых, мне нужно изменить строку 141 файла pom, расположенного по адресу

D:\hadoop-3.0.2-src\hadoop-hdfs-project\hadoop-hdfs-native-client\pom.xml

to

<condition property="generator" value="Visual Studio 10" else="Visual Studio 15 2017 Win64">

Это обеспечит использование VS 2017 в процессе сборки.

Я также столкнулся с проблемой, когда MSBuild жалуется, что команда длинная, а затем перестает работать, я думаю, что это связано с расположением репозитория Maven по умолчанию. Чтобы исправить это, я добавил следующую строку

<localRepository>D:/maven_repo</localRepository>

подать

apache-maven-3.5.0\conf\settings.xml

чтобы переместить репозиторий Maven в новое место (в данном случае D:/maven_repo).

Наконец, я открыл x64 Native Tools Command Prompt for VS 2017, cd в исходной папке hadoop и ввел следующую команду:

mvn clean package -Pdist,native-win -DskipTests -Dtar -Dmaven.repo.local=D:\maven_repo

Я трачу более 10 часов на устранение всех проблем, надеюсь, мое решение поможет и другим.

Я хотел бы поделиться своим опытом сборки Hadoop 3.1.2 на Windows 8.1. Я потратил много времени на исправление ошибок сборки, но все, что мне было нужно, это раздел «Building on Windows» в файле Building.txt в корневой папке исходников Hadoop.

Я использовал «Командную строку x64 Native Tools для VS 2017».

Итак, вот мои шаги

На самом деле этого может быть достаточно, чтобы понять, что вам нужно делать, но в VS 2017 процесс немного отличается.

Я использовал папку d:\hdp\

Когда вы используете Native Tools, вам не нужна команда CALL в конце файла .cmd, поэтому закомментируйте ее:

@REM CALL "%MSVS%\VC\vcvarsall.bat" %VCVARSPLAT%

Мои настройки выглядят так:

SET Platform=x64
SET VCVARSPLAT=amd64

@REM ******************
@REM Forcibly move the Maven local repo
@REM (use short path to avoid 'the command line is too long' error)

SET MAVEN_OPTS=-Dmaven.repo.local=D:\.m2

@REM *******************************************
@REM
@REM Locations of your bits and pieces
@REM
@REM NOTE: cmake is assumed to already be on the
@REM command path
@REM (it's true when you use Native Tools Command Prompt)

SET MAVEN_HOME=%MAVEN_HOME%
SET JAVA_HOME=%JAVA_HOME%
@REM SET MSVS=C:\Program Files (x86)\Microsoft Visual Studio\2017\Professional
SET PROTO_BIN=D:\tools\protoc-2.5.0-win32
SET GIT_HOME=C:\Program Files (x86)\Git
set ZLIB_HOME=D:\tools\zlib-1.2.11

SET PATH=%JAVA_HOME%\bin;%MAVEN_HOME%\bin;%PROTO_BIN%;%GIT_HOME%\bin;%PATH%

@REM CALL "%MSVS%\VC\vcvarsall.bat" %VCVARSPLAT%

Конечно, вам нужно, чтобы Java, Maven, ProtoBuf, Git и ZLib были установлены по указанным выше путям.

Из «Командной строки x64 Native Tools для VS 2017» перейдите в исходную папку Hadoop, запустите «win-paths-eg.cmd» и начните сборку с помощью Maven:

d:
cd D:\hdp
D:\hdp\dev-support\win-paths-eg.cmd
mvn package -Pdist,native-win -DskipTests -Dtar

Вот и все, народ!