Вопросы по теме 'gsutil'
Я не могу загружать большие (›2 ГБ) файлы в веб-интерфейс Google Cloud Storage.
Я использовал ссылку Google Cloud Storage Manager в консоли API Google для загрузки мои файлы.
Это отлично подходит для большинства файлов: 1 КБ, 10 КБ, 1 МБ, 10 МБ, 100 МБ. Однако вчера мне не удалось загрузить файл размером 3 ГБ. Есть...
5162 просмотров
schedule
08.07.2023
Клиентская библиотека Google Cloud Storage — отметьте общедоступность по умолчанию
Я использую клиентскую библиотеку облачного хранилища Google для динамической загрузки файлов в нее и обслуживания файлов из нее. Загрузочная часть работает нормально. В этом нет проблем.
Проблема, с которой я сталкиваюсь, заключается в том, что...
219 просмотров
schedule
13.06.2023
Скопируйте данные из хранилища данных Google в CSV
Я храню данные в облачном хранилище данных Google через проект appengine и хочу загрузить одну из сущностей в виде файла CSV.
Я настроил gsutil так, что по умолчанию он использует этот проект appengine. Еще я создал ведро под облачным хранилищем....
972 просмотров
schedule
30.08.2022
gsutil возвращает неавторизованный клиент
Я был в процессе синхронизации папки со 130 000 файлов в Google Cloud Storage. После загрузки нескольких тысяч изображений я начал получать следующее сообщение для каждого файла, который gsutil пытался скопировать:
Your "Oauth 2.0 User Account"...
2474 просмотров
schedule
05.09.2022
Сбой сервисной учетной записи GSUtil
Я запускаю Debian на GCE и настроил gsutil с gsutil config -e .
Когда я пытаюсь сделать gsutil -D ls , я получаю следующую ошибку:
gsutil version 4.3
checksum f6a4b1f8400e2d1d145c9ec5e9ea8d90 (OK)
boto version 2.29.1
python version 2.7.3...
723 просмотров
schedule
14.09.2022
gsutil возвращает код 0 даже в случае сбоя
мы пытаемся создать отказоустойчивую копию с помощью gsutil.
Проблема в том, что gsutil cp возвращает 0 даже в случае сбоя. Ожидается ли это? Должен ли я анализировать журнал?
/usr/local/bin/gsutil -m cp -L gsutilM.log...
854 просмотров
schedule
28.11.2022
Google Clous Storage - есть ли эквивалент gsutil 'rsync' в Java API?
gsutil имеет очень удобную функцию под названием « rsync , которая синхронизирует 2 сегмента/ каталоги в GCS. Я просмотрел JSON API и Клиентская библиотека Java , но я не вижу ничего, что поддерживало бы этот тип функций вне коробки....
1039 просмотров
schedule
12.01.2023
Установите на 0 количество компонентов составных объектов gsutil (ошибка rateLimitExceeded)
При копировании некоторых файлов журнала (созданных с помощью команды gsutil compose):
gsutil -m cp -R gs://mybucket/PROD/ gs://mybucket/TEST/
мы сталкиваемся с множеством ошибок, подобных этой:
"errors":[
{...
282 просмотров
schedule
02.04.2023
Как загрузить файл размером более 30 МБ в облачное хранилище Google с помощью gsutil?
Я не могу найти документацию о том, как загружать файлы размером более 30 МБ в облачное хранилище Google. Я только что использовал:
gsutil cp test.csv gs://example
Любая помощь будет потрясающей. Спасибо
851 просмотров
schedule
25.11.2022
Gsutil: отсутствуют файлы oauth2_plugin?
Я пытаюсь использовать библиотеку gsutil в своем коде и тщательно следую инструкциям по установке на веб-сайте Google.
Однако даже при правильном наборе PYTHONPATH, когда я запускаю строку
from gslib.third_party.oauth2_plugin import...
67 просмотров
schedule
17.06.2022
Самый быстрый способ узнать размер корзины Google Storage?
Сейчас я делаю это, но это ОЧЕНЬ медленно, так как у меня в корзине несколько терабайт данных:
gsutil du -sh gs://my-bucket-1/
И то же самое для подпапки:
gsutil du -sh gs://my-bucket-1/folder
Можно ли каким-то образом получить общий...
22039 просмотров
schedule
23.03.2022
Ошибка учетных данных gsutil при попытке загрузить обзоры приложений
Я выполнил инструкции Google по установке Python и gsutil в Windows. Когда я пытаюсь загрузить обзоры с помощью этой командной строки:
c:\gsutil>c:\python27\python gsutil cp -r gs://pubsite_prod_rev_########/reviews/reviews_package.name_2015*...
894 просмотров
schedule
29.07.2022
gsutil CommandException: URL-адреса не соответствуют: *.txt
Я пытаюсь понять, как копировать локальные файлы в облачное хранилище с помощью gsutil, чтобы я мог написать скрипт для перемещения файлов. Я выполнил следующие шаги:
C:\Program Files (x86)\Google\Cloud SDK>gsutil ls
gs://sa-upload-test/...
10145 просмотров
schedule
28.03.2023
Не могу обновить gsutil до 4.12
Я собираюсь переместить несколько терабайт данных из корзины DRA в корзину Nearline и хочу использовать новый Переписать API , как я понимаю требуется gsutil 4.12:
gsutil -m cp -r gs://my-dra-bucket/* gs://my-nearline-bucket/
Но даже после...
74 просмотров
schedule
21.09.2022
gsutil rsync со сжатием gzip
Я размещаю общедоступные статические ресурсы в корзине хранилища Google, и я хочу использовать команду gsutil rsync для синхронизации нашей локальной версии с корзиной, экономя пропускную способность и время. Частью нашего процесса сборки является...
3818 просмотров
schedule
07.06.2022
gsutil rsync завершает работу после запуска синхронизации
Я пытаюсь синхронизировать папки из экземпляра вычислительного движка Google с облачным хранилищем, но он просто выходит без каких-либо указателей. Он говорит Начало синхронизации , а затем возвращается к подсказке.
gsutil -m rsync -r public/...
1338 просмотров
schedule
01.08.2022
Синтаксическая ошибка в .bashrc после установки gsutil
На компьютере с Linux я пытаюсь установить gsutil, следуя инструкциям на https://cloud.google.com/storage/docs/gsutil_install . Во время установки я ответил «да» на все и оставил значения по умолчанию.
Однако теперь, если я открою новый терминал,...
117 просмотров
schedule
15.01.2023
Как скопировать файлы из зашифрованного ведра S3 в Google Cloud Storage?
Мне нужно синхронизировать некоторые файлы между зашифрованным (S3-SSE) сегментом S3 и сегментом Google Cloud Storage.
Задача кажется простой, поскольку gsutil поддерживает S3, но, к сожалению, похоже, не поддерживает SSE:
Для запросов,...
494 просмотров
schedule
09.03.2023
Как я могу просмотреть текущие настроенные уведомления об изменении объекта (OCN) для данного сегмента GCS?
Как я могу просмотреть текущие настроенные уведомления об изменении объекта (OCN) для данного сегмента GCS?
Думал будет так: gsutil notification list gs://my-bucket-name
Но потом в gsutil help notification меня это удивило:
СПИСОК...
53 просмотров
schedule
10.02.2023
UnicodeDecodeError: кодек ascii не может декодировать байт 0xc2 в позиции 9: порядковый номер не в диапазоне (128)
Я не программировал на питоне. Я впервые вижу такой код. Мой файл Python gsutil :
#!/usr/bin/env python
#
# Copyright 2013 Google Inc. All Rights Reserved.
#
"""A convenience wrapper for starting gsutil."""
import os
import sys
import...
1043 просмотров
schedule
10.08.2022
