Можно ли использовать pip для установки пакета из частного репозитория GitHub?

Вы можете использовать схему git+ssh URI, но вы должны установить имя пользователя. Обратите внимание на часть git@ в URI:

pip install git+ssh://[email protected]/echweb/echweb-utils.git

Также прочтите о ключах развертывания.

PS: В моей установке схема URI git + ssh работает только с редактируемыми требованиями:

pip install -e URI#egg=EggName

Помните: измените символ :, который печатает git remote -v, на символ / перед использованием адреса пульта дистанционного управления в команде pip:

$ git remote -v
origin  [email protected]:echweb/echweb-utils.git (fetch)
#                     ^ change this to a '/' character

Если вы забудете, вы получите такую ​​ошибку:

ssh: Could not resolve hostname github.com:echweb:
         nodename nor servname provided, or not known

В качестве дополнительного метода, если у вас есть частный репозиторий, клонированный локально, вы можете:

pip install git+file://c:/repo/directory

В более современных условиях вы можете просто сделать это (и -e будет означать, что вам не нужно фиксировать изменения, прежде чем они будут отражены):

pip install -e C:\repo\directory

Вы можете сделать это напрямую с помощью URL-адреса HTTPS следующим образом:

pip install git+https://github.com/username/repo.git

Это также работает, просто добавляя эту строку в файл requirements.txt в проекте Django, например.

Он также работает с Bitbucket:

pip install git+ssh://[email protected]/username/projectname.git

В этом случае Пип будет использовать ваши SSH-ключи.

Я обнаружил, что использовать токены намного проще, чем ключи SSH. Мне не удалось найти много хорошей документации по этому поводу, поэтому я нашел это решение в основном методом проб и ошибок. Кроме того, установка из pip и setuptools имеет некоторые тонкие различия; но этот способ должен работать для обоих.

GitHub (в настоящее время, по состоянию на август 2016 года) не предлагает простой способ получить zip / tarball частных репозиториев. Итак, вам нужно указать setuptools, чтобы сообщить setuptools, что вы указываете на репозиторий Git:

from setuptools import setup
import os
# Get the deploy key from https://help.github.com/articles/git-automation-with-oauth-tokens/
github_token = os.environ['GITHUB_TOKEN']

setup(
    # ...
    install_requires='package',
    dependency_links = [
    'git+https://{github_token}@github.com/user/{package}.git/@{version}#egg={package}-0'
        .format(github_token=github_token, package=package, version=master)
        ]

Пара замечаний здесь:

• Для частных репозиториев вам необходимо пройти аутентификацию с помощью GitHub; самый простой способ, который я нашел, - создать токен OAuth, поместить его в свою среду и затем включить это с URL-адресом
• Вам необходимо указать некоторый номер версии (здесь 0) в конце ссылки, даже если на PyPI. Это должно быть реальное число, а не слово.
• Вам нужно предварять git+, чтобы указать setuptools, что он должен клонировать репозиторий, а не указывать на zip / tarball.
• version может быть веткой, тегом или хешем фиксации
• Вам необходимо указать --process-dependency-links при установке из pip

Я придумал способ автоматической установки частного репозитория GitLab, который не требует запроса пароля. Этот подход использует GitLab «Deploy Keys» и файл конфигурации SSH, поэтому вы можете развертывать с использованием ключей, отличных от ваших личных SSH-ключей (в моем случае, для использования ботом). Возможно, кто-то добрая душа сможет проверить с помощью GitHub.

Создайте новый ключ SSH:

ssh-keygen -t rsa -C "GitLab_Robot_Deploy_Key"

Файл должен отображаться как ~/.ssh/GitLab_Robot_Deploy_Key и ~/.ssh/GitLab_Robot_Deploy_Key.pub.

Скопируйте и вставьте содержимое файла ~/.ssh/GitLab_Robot_Deploy_Key.pub в диалоговое окно GitLab «Развернуть ключи».

Протестируйте новый ключ развертывания

Следующая команда указывает SSH использовать ваш новый ключ развертывания для установки соединения. В случае успеха вы должны получить сообщение: «Добро пожаловать в GitLab, UserName!»

ssh -T -i ~/.ssh/GitLab_Robot_Deploy_Key [email protected]

Создайте файл конфигурации SSH

Затем с помощью редактора создайте файл ~/.ssh/config. Добавьте следующее содержимое. Значение Host может быть любым (просто запомните это, потому что вы будете использовать его позже). HostName - это URL-адрес вашего экземпляра GitLab. IdentifyFile - это путь к файлу ключей SSH, который вы создали на первом шаге.

Host GitLab
  HostName gitlab.mycorp.com
  IdentityFile ~/.ssh/GitLab_Robot_Deploy_Key

Укажите SSH на файл конфигурации

oxyum дал нам рецепт использования pip с SSH:

pip install git+ssh://[email protected]/my_name/my_repo.git

Нам просто нужно немного изменить его, чтобы SSH использовал наш новый ключ развертывания. Мы делаем это, указывая SSH на запись Host в файле конфигурации SSH. Просто замените gitlab.mycorp.com в команде на имя хоста, которое мы использовали в файле конфигурации SSH:

pip install git+ssh://git@GitLab/my_name/my_repo.git

Теперь пакет должен быть установлен без запроса пароля.

Ссылка A
Ссылка B

Синтаксис файла требований приведен здесь:

https://pip.pypa.io/en/latest/reference/pip_install.html#requirements-file-format.

Так, например, используйте:

-e git+http://github.com/rwillmer/django-behave#egg=django-behave

если вы хотите, чтобы исходный код оставался после установки.

Или просто

git+http://github.com/rwillmer/django-behave#egg=django-behave

если вы просто хотите, чтобы он был установлен.

Если вы хотите установить зависимости из файла требований на сервере CI или аналогичном, вы можете сделать это :

git config --global credential.helper 'cache'
echo "protocol=https
host=example.com
username=${GIT_USER}
password=${GIT_PASS}
" | git credential approve
pip install -r requirements.txt

В моем случае я использовал GIT_USER=gitlab-ci-token и GIT_PASS=${CI_JOB_TOKEN}.

У этого метода есть явное преимущество. У вас есть единый файл требований, который содержит все ваши зависимости.

Вы также можете установить зависимость частного репозитория через http://git+https://github.com/... URL, указав учетные данные (логин и пароль или токен развертывания) для curl с .netrc файлом:

echo "machine github.com login ei-grad password mypasswordshouldbehere" > ~/.netrc
pip install "git+https://github.com/ei-grad/my_private_repo.git#egg=my_private_repo"

Если вы не хотите использовать SSH, вы можете добавить имя пользователя и пароль в URL-адрес HTTPS.

В приведенном ниже коде предполагается, что у вас есть файл с именем "pass" в рабочем каталоге, который содержит ваш пароль.

export PASS=$(cat pass)
pip install git+https://<username>:[email protected]/echweb/echweb-utils.git

Если вам нужно сделать это, скажем, в однострочном режиме командной строки, это тоже возможно. Я смог сделать это для развертывания в Google Colab:

1. Создайте токен персонального доступа: https://docs.github.com/en/github/authenticating-to-github/creating-a-personal-access-token
2. Бег: pip install git+https://<PERSONAL ACCESS TOKEN>@github.com/<USERNAME>/<REPOSITORY>.git

Когда я устанавливал с GitHub, я мог использовать:

pip install git+ssh://[email protected]/<username>/<projectname>.git#egg=<eggname>

Но, поскольку мне пришлось запустить pip как sudo, ключи SSH больше не работали с GitHub, и «git clone» не удалось выполнить на «Permission denied (publickey)». Использование git+https позволило мне запустить команду как sudo, и GitHub запросил у меня моего пользователя / пароль.

sudo pip install git+https://github.com/<username>/<projectname>.git#egg=<eggname>

Решение oxyum подходит для этого ответа. Я просто хочу отметить, что вам нужно быть осторожным, если вы устанавливаете с использованием sudo, поскольку ключи должны храниться и для root (например, /root/.ssh).

Затем вы можете ввести

sudo pip install git+ssh://[email protected]/echweb/echweb-utils.git

Если у вас есть собственная библиотека / пакет на GitHub, GitLab и т. Д., Вам нужно добавить тег для фиксации с конкретной версией библиотеки, например, v2.0, а затем вы можете установить свой пакет:

pip install git+ssh://link/name/[email protected]

У меня это работает. Другие решения у меня не сработали.

Просто скопируйте пульт из исходной команды git clone (или из git remote -v). У вас получится что-то вроде этого:

• Bitbucket: git+ssh://[email protected]:your_account/my_pro.git

• GitHub: git+ssh://[email protected]:your_account/my_pro.git

Затем вам нужно заменить : на / рядом с именем домена.

Итак, установите, используя:

pip install git+ssh://[email protected]/your_account/my_pro.git

Мой случай был немного сложнее, чем большинство описанных в ответах. Я был владельцем двух частных репозиториев repo-A и repo-B в организации Github, и мне нужно было pip install repo-A во время python юнит-тестов repo-B, как действие Github.

Шаги, которые я предпринял для решения этой задачи:

• Создан Токен личного доступа для моей учетной записи. Что касается его разрешений, мне нужно было оставить только те, что по умолчанию, т. Е. репо - полный контроль над личными репозиториями.
• Создан секрет репозитория в repo-B , вставил туда свой токен личного доступа и назвал его PERSONAL_ACCESS_TOKEN. Это было важно, потому что, в отличие от решения, предложенного Джейми, мне не нужно было явно выставить мой драгоценный необработанный токен личного доступа внутри файла .yml действия github.
• Наконец, я pip install обработал пакет из исходного кода через HTTPS следующим образом export PERSONAL_ACCESS_TOKEN=${{ secrets.PERSONAL_ACCESS_TOKEN }} && pip install git+https://${PERSONAL_ACCESS_TOKEN}@github.com/MY_ORG_NAME/MY_REPO_NAME.git

Вы можете попробовать

pip install [email protected]/my_name/my_repo.git

без ssh:.... Это подходит для меня.