Как скопировать файл, только если он не существует, иначе выдать ошибку?

Вы можете проверить существование файла, перечислив файл и посмотрев, возвращает ли он что-то. Например:

aws s3 ls s3://bucket/file.txt | wc -l

Это вернет ноль (без строк), если файл не существует.

Если вы хотите скопировать файл только в том случае, если он не существует, попробуйте sync команда, например:

aws s3 sync . s3://bucket/ --exclude '*' --include 'file.txt'

Это синхронизирует локальный файл с удаленным объектом, копируя его только в том случае, если он не существует или если локальный файл отличается от удаленного объекта.

Итак, получается, что «синхронизация aws s3» не работает с файлами, а только с каталогами. Если вы дадите ему файл, вы получите... интересное... поведение, поскольку он обрабатывает все, что вы ему даете, как каталог и добавляет к нему косую черту. По крайней мере, aws-cli/1.6.7 Python/2.7.5 Darwin/13.4.0.

    %% date > test.txt
    %% aws s3 sync test.txt s3://bucket/test.txt
    warning: Skipping file /Users/draistrick/aws/test.txt/. File does not exist.

Итак, если вы действительно хотите синхронизировать файл (загружать только в том случае, если он существует и если контрольная сумма совпадает), вы можете сделать это:

    file="test.txt"
    aws s3 sync --exclude '*' --include "$file" "$(dirname $file)" "s3://bucket/"

Обратите внимание на порядок исключения/включения — если вы измените его, он ничего не будет включать. И ваш исходный и включаемый пути должны быть разумными в отношении их соответствия, поэтому, возможно, $(базовое имя $file) подходит для --include, если вы используете полные пути... aws --debug s3 sync - ваш друг здесь чтобы увидеть, как оцениваются включения.

И не забывайте, что целью является ключ каталога, а не ключ файла.

Вот рабочий пример:

  %% file="test.txt"
  %% date >> $file
  %% aws s3 sync --exclude '*' --include "$file" "$(dirname $file)" "s3://bucket/"
  upload: ./test.txt to s3://bucket/test.txt/test.txt
  %% aws s3 sync --exclude '*' --include "$file" "$(dirname $file)" "s3://bucket/"
  %% date >> $file
  %% aws s3 sync --exclude '*' --include "$file" "$(dirname $file)" "s3://bucket/"
  upload: ./test.txt to s3://bucket/test.txt/test.txt

(теперь, если бы только был способ попросить aws s3 просто проверить контрольную сумму, поскольку он, кажется, всегда выполняет контрольные суммы в многокомпонентном стиле.

Вы можете сделать это, перечислив и скопировав, если и только если список будет успешным.

aws s3 ls "s3://my-bucket/production/myfile" || aws s3 cp "dist/myfile" "s3://my-bucket/production/myfile"

Изменить: заменить && на || чтобы получить желаемый эффект, если список не работает, скопируйте

Вы также можете проверить наличие файла с помощью подкоманды aws s3api head-object. Преимущество этого перед aws s3 ls заключается в том, что для этого требуется только разрешение s3:GetObject вместо s3:ListBucket.

$ aws s3api head-object --bucket ${BUCKET} --key ${EXISTENT_KEY}
{
    "AcceptRanges": "bytes",
    "LastModified": "Wed, 1 Jan 2020 00:00:00 GMT",
    "ContentLength": 10,
    "ETag": "\"...\"",
    "VersionId": "...",
    "ContentType": "binary/octet-stream",
    "ServerSideEncryption": "AES256",
    "Metadata": {}
}
$ echo $?
0

$ aws s3api head-object --bucket ${BUCKET} --key ${NON_EXISTENT_KEY}

An error occurred (403) when calling the HeadObject operation: Forbidden
$ echo $?
255

Обратите внимание, что код состояния HTTP для несуществующего объекта зависит от того, есть ли у вас разрешение s3:ListObject. Дополнительные сведения см. в документе по API:

• Если у вас есть разрешение s3:ListBucket для корзины, Amazon S3 возвращает ошибку с кодом состояния HTTP 404 (нет такого ключа).
• Если у вас нет разрешения s3:ListBucket, Amazon S3 возвращает ошибку с кодом состояния HTTP 403 (отказано в доступе).

ВЗЛОМ AWS

Вы можете запустить следующую команду, чтобы вызвать ОШИБКУ, если файл уже существует

• Запустите команду синхронизации aws s3, чтобы синхронизировать файл с s3, он вернет скопированный путь, если файл не существует, или выдаст пустой вывод, если он выйдет
• Запустите команду wc -c, чтобы проверить количество символов и вызвать ошибку, если вывод равен нулю

com=$(aws s3 sync dist/ s3://my-bucket/production/ | wc -c); if [[ $com -ne 0 ]]; затем выход 1; иначе выход 0; фи;

OR

#!/usr/bin/env bash
com=$(aws s3 sync dist s3://my-bucket/production/ | wc -c)
echo "hello $com"
if [[ $com -ne 0 ]]; then
echo "File already exists"
exit 1
else
echo "success"
exit 0
fi

Я проголосовал за Авигжано. Используя его пример выше, я смог заставить это работать в моем файле Windows .bat. Если путь S3 существует, он выдаст ошибку и завершит пакетное задание. Если файл не существует, он продолжит выполнять функцию копирования. Надеюсь, это поможет кому-то.

:Step1

aws s3 ls s3://00000000000-fake-bucket/my/s3/path/inbound/test.txt && ECHO Could not copy to S3 bucket becasue S3 Object already exists, ending script. && GOTO :Failure

ECHO No file found in bucket, begin upload.

aws s3 cp Z:\MY\LOCAL\PATH\test.txt s3://00000000000-fake-bucket/my/s3/path/inbound/test.txt --exclude "*" --include "*.txt"


:Step2

ECHO YOU MADE IT, LET'S CELEBRATE

IF %ERRORLEVEL% == 0 GOTO :Success
GOTO :Failure

:Success
echo Job Endedsuccess
GOTO :ExitScript

:Failure
echo BC_Script_Execution_Complete Failure
GOTO :ExitScript

:ExitScript