Вытащить все гисты из Github?

Версия 3 GitHub API позволяет это сделать довольно просто:

https://api.github.com/users/koraktor/gists

дает вам список всех Gists пользователя, и этот список предлагает различное количество URL-адресов, включая URL-адреса API для отдельных Gists, таких как

https://api.github.com/gists/921286

См. документацию Gists API v3.

Существует адаптация API v3 скрипт nicerobot, изначально написанный для API v1:

#!/usr/bin/env python
# Clone or update all a user's gists
# curl -ks https://raw.github.com/gist/5466075/gist-backup.py | USER=fedir python
# USER=fedir python gist-backup.py

import json
import urllib
from subprocess import call
from urllib import urlopen
import os
import math
USER = os.environ['USER']

perpage=30.0
userurl = urlopen('https://api.github.com/users/' + USER)
public_gists = json.load(userurl)
gistcount = public_gists['public_gists']
print "Found gists : " + str(gistcount)
pages = int(math.ceil(float(gistcount)/perpage))
print "Found pages : " + str(pages)

f=open('./contents.txt', 'w+')

for page in range(pages):
    pageNumber = str(page + 1)
    print "Processing page number " + pageNumber
    pageUrl = 'https://api.github.com/users/' + USER  + '/gists?page=' + pageNumber + '&per_page=' + str(int(perpage))
    u = urlopen (pageUrl)
    gists = json.load(u)
    startd = os.getcwd()
    for gist in gists:
        gistd = gist['id']
        gistUrl = 'git://gist.github.com/' + gistd + '.git' 
        if os.path.isdir(gistd):
            os.chdir(gistd)
            call(['git', 'pull', gistUrl])
            os.chdir(startd)
        else:
            call(['git', 'clone', gistUrl])
        if gist['description'] == None:
            description = ''
        else:
            description = gist['description'].encode('utf8').replace("\r",' ').replace("\n",' ')
        print >> f, gist['id'], gistUrl, description

Версия скрипта @Fedir, который учитывает разбиение на страницы Github (если у вас есть несколько сотен списков):

#!/usr/bin/env python
# Clone or update all a user's gists
# curl -ks https://raw.github.com/gist/5466075/gist-backup.py | USER=fedir python
# USER=fedir python gist-backup.py

import json
import urllib
from subprocess import call
from urllib import urlopen
import os
import math
USER = os.environ['USER']

perpage=30.0
userurl = urlopen('https://api.github.com/users/' + USER)
public_gists = json.load(userurl)
gistcount = public_gists['public_gists']
print "Found gists : " + str(gistcount)
pages = int(math.ceil(float(gistcount)/perpage))
print "Found pages : " + str(pages)

f=open('./contents.txt', 'w+')

for page in range(pages):
    pageNumber = str(page + 1)
    print "Processing page number " + pageNumber
    pageUrl = 'https://api.github.com/users/' + USER  + '/gists?page=' + pageNumber + '&per_page=' + str(int(perpage))
    u = urlopen (pageUrl)
    gists = json.load(u)
    startd = os.getcwd()
    for gist in gists:
        gistd = gist['id']
        gistUrl = 'git://gist.github.com/' + gistd + '.git' 
        if os.path.isdir(gistd):
            os.chdir(gistd)
            call(['git', 'pull', gistUrl])
            os.chdir(startd)
        else:
            call(['git', 'clone', gistUrl])

Основываясь на подсказке в этом ответе, я написал этот простой скрипт Python, который помогает мне.

Это очень минимальный код, практически без проверки ошибок, и он клонирует все списки пользователя в текущий каталог.

#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""Clone all gists of GitHub username given on the command line."""

import subprocess
import sys
import requests

if len(sys.argv) > 1:
    gh_user = sys.argv[1]
else:
    print("Usage: clone-gists.py <GitHub username>")
    sys.exit(1)

req = requests.get('https://api.github.com/users/%s/gists' % gh_user)

for gist in req.json():
    ret = subprocess.call(['git', 'clone', gist['git_pull_url']])
    if ret != 0:
        print("ERROR cloning gist %s. Please check output." % gist['id'])

См. https://gist.github.com/SpotlightKid/042491a9a2987af04a5a для версии, которая обрабатывает обновления. также.

В дополнение к нескольким ответам Thomas Traum. Кажется, что пользовательский агент теперь обязателен: http://developer.github.com/v3/#user-agent-required.

Поэтому я сделал собственное упражнение по адресу: https://github.com/sanusart/gists-backup. Он также знает о подкачке, дублирующихся описаниях и отсутствующих описаниях.

Я написал быстрый скрипт node.js в качестве упражнения, загружает все списки и сохраняет их с тем же именем файла, что и исходная суть, в папке, которая соответствует имени «суть описания». https://gist.github.com/thomastraum/5227541

var request = require('request')
    , path = require('path')
    , fs = require('fs')
    , url = "https://api.github.com/users/thomastraum/gists"
    , savepath = './gists';

request(url, function (error, response, body) {

    if (!error && response.statusCode == 200) {

        gists = JSON.parse( body );
        gists.forEach( function(gist) {

            console.log( "description: ", gist.description );
            var dir = savepath + '/' + gist.description;

            fs.mkdir( dir, function(err){
                for(var file in gist.files){

                    var raw_url = gist.files[file].raw_url;
                    var filename = gist.files[file].filename;

                    console.log( "downloading... " + filename );
                    request(raw_url).pipe(fs.createWriteStream( dir + '/' + filename ));
                }
            });
        });

    }

});

Этот рубиновый драгоценный камень, кажется, помогает решить вашу проблему. Я еще не пробовал, но выглядит многообещающе.

Первый

gem install gisty

И нужно поставить

export GISTY_DIR="$HOME/dev/gists"

в вашем .bashrc или .zshrc. В этом каталоге сохраняются ваши файлы.

тебе следует

git config --global github.user your_id
git config --global github.token your_token

добавьте приведенную выше конфигурацию в свой .gitconfig

Использование

• гистый пост файл1 файл2 ...

  отправляет файл1 и файл2 в суть

• gisty private_post файл1 файл2 ...

  публикует файл1 и файл2 в частном порядке

• прямая синхронизация

  Синхронизация со всеми вашими списками

• gisty pull_all

  Вытащить в локальное репо

• краткий список

  Список клонированных локальных репозиториев gist

Если все, что вам нужно сделать, это загрузить все списки от определенного пользователя, то этот простой скрипт на Python поможет.

Основная информация для конкретного пользователя предоставляется через API

"https://api.github.com/users/" + username + "/gists"

Вы можете просто просмотреть JSON, предоставляемый API, получить список сущностей, выполнить клонирование или просто загрузить сущности, используя указанный необработанный URL-адрес. Простой скрипт ниже перебирает JSON, извлекает имя файла и необработанный URL-адрес, загружает все списки и сохраняет их в локальной папке.

import requests

# Replace username with correct username
url = "https://api.github.com/users/" + username + "/gists"

resp = requests.get(url)
gists = resp.json()

for gist in gists:
    for file in gist["files"]:
        fname = gist["files"][file]["filename"]
        furl = gist["files"][file]["raw_url"]
        print("{}:{}".format(fname, furl)) # This lists out all gists

        Use this to download all gists
        pyresp = requests.get(furl)

        with open("../folder/" + fname, "wb") as pyfile:
            for chunk in pyresp.iter_content(chunk_size=1024):
                if chunk:
                    pyfile.write(chunk)
        print("{} downloaded successfully".format(fname))

Обновление за март 2021 г. (Python3)

Если у пользователя есть тонна списков с одним и тем же именем файла, это прекрасно работает.

import requests, json, time, uuid
headers = {"content-type" : "application/json"}
url =  'https://api.github.com/users/ChangeToYourTargetUser/gists?per_page=100&page='

for page in range(1,100):  #do pages start at 1 or 0?
    print('page: ' + str(page))
    r = requests.get(url+str(page), headers = headers)
    metadata_file = './data/my_gist_list.json'
    # Getting metadata
    prettyJson = json.dumps(r.json(), indent=4, sort_keys=True)
    f = open(metadata_file, 'w')
    f.write(prettyJson)

    print('Metadata obtained as {}'.format(metadata_file))

    # Downloading files
    data = r.json()
    counter = 0
    for i in data:
        time.sleep(1.1)
        files_node = i['files']
        file_name = [k for k in files_node][0]
        r = requests.get(files_node[file_name]['raw_url'])
        f = open('./data/{}'.format(str(uuid.uuid4())), 'w')
        f.write(r.text)
        f.close()
        print('Download' + str(i))
        counter += 1

    print('{} files successfully downloaded.'.format(counter))

Я использую это, и это работает как шарм!

# first: mkdir user && cd user && cp /path/to/get_gists.py .
# python3 get_gists.py user
import requests
import sys
from subprocess import call

user = sys.argv[1]

r = requests.get('https://api.github.com/users/{0}/gists'.format(user))

for i in r.json():
    call(['git', 'clone', i['git_pull_url']])

    description_file = './{0}/description.txt'.format(i['id'])
    with open(description_file, 'w') as f:
        f.write('{0}\n'.format(i['description']))

А как насчет GitHub CLI?

brew install gh

gh auth login

gh gist list [flags]

  Options:

    -L, --limit int   Maximum number of gists to fetch (default 10)
    --public          Show only public gists
    --secret          Show only secret gists

gh gist clone <gist> [<directory>] [-- <gitflags>...]