Как загрузить файл размером более 30 МБ в облачное хранилище Google с помощью gsutil?

Я не могу найти документацию о том, как загружать файлы размером более 30 МБ в облачное хранилище Google. Я только что использовал:

gsutil cp test.csv gs://example

Любая помощь будет потрясающей. Спасибо


person user3474649    schedule 01.10.2014    source источник
comment
Вы должны иметь возможность загружать файлы большего размера с помощью gsutil. Теоретически он наследует ограничения Google Cloud Storage и поддерживает объекты, размер которых может достигать терабайт[1]. Не могли бы вы запустить следующую команду?: gsutil -D cp test.csv gs://example Это даст вам больше деталей. Я бы хотел, чтобы вы поделились с нами этой информацией (например, вы можете загрузить ее в pastebin). Если это так, не забудьте удалить все конфиденциальные данные, которые появляются в выводе этой команды. [1] cloud.google.com/storage/docs/overview#features   -  person Adrián    schedule 01.10.2014
comment
Загрузка файлов такого размера должна работать. В чем проблема, с которой вы сталкиваетесь, когда пытаетесь загрузить файлы размером более 30 МБ?   -  person Mike Schwartz    schedule 01.10.2014
comment
Я загрузил много огромных файлов с помощью одной и той же команды, и она отлично работает. gsutil -m cp -r source destination это команда, которую я использую. -m разделяет его на несколько процессов, чтобы сделать его быстрым. Можете ли вы выложить журналы ошибок для деталей?   -  person Yogesh Patil    schedule 25.10.2017


Ответы (1)


Если вы используете формат CSV, вы также можете загрузить версию gzip. Просто создайте файл gzip и загрузите его на GCS, используя следующую команду:

gsutil cp <localgzipfile> gs://location/of/gzipfile.csv.gz

Я использую эту стратегию для загрузки плоского файла размером более 200 МБ, чья версия gzip составляет всего 40 МБ. Надеюсь это поможет.

Дополнительную информацию можно найти здесь

person vsingh    schedule 08.10.2014