Зачем использовать conv=notrunc при клонировании диска с помощью dd?

Если вы посмотрите в Интернете, как клонировать весь диск на другой, вы найдете что-то вроде этого:

dd if=/dev/sda of=/dev/sdb conv=notrunc,noerror

Хотя я понимаю noerror, мне трудно понять, почему люди думают, что notrunc требуется для «целостности данных» (как Вики ArchLinux утверждает, например).

Действительно, я согласен с этим, если вы копируете раздел в другой раздел на другом диске и не хотите перезаписывать весь диск, а только один раздел. В этом случае notrunc, согласно странице руководства dd, это то, что вам нужно.

Но если вы клонируете весь диск, что для вас меняет notrunc? Просто оптимизация времени?


person Undo    schedule 11.12.2013    source источник
comment
никогда не использовал диски notrunc dd-ing, возможно, я никогда не смотрел инструкции.   -  person akostadinov    schedule 08.03.2015
comment
unix.stackexchange.com/questions/159782/   -  person Ciro Santilli 新疆再教育营六四事件ۍ    schedule 10.09.2015


Ответы (1)


Версия TL;DR:

notrunc важен только для предотвращения усечения при записи в файл. Это не влияет на блочное устройство, такое как sda или sdb.

Образовательная версия

Я изучил исходный код coreutils, содержащий dd.c, чтобы увидеть, как обрабатывается notrunc.

Вот сегмент кода, на который я смотрю:

int opts = (output_flags
            | (conversions_mask & C_NOCREAT ? 0 : O_CREAT)
            | (conversions_mask & C_EXCL ? O_EXCL : 0)
            | (seek_records || (conversions_mask & C_NOTRUNC) ? 0 : O_TRUNC));

/* Open the output file with *read* access only if we might
need to read to satisfy a `seek=' request.  If we can't read
the file, go ahead with write-only access; it might work.  */
if ((! seek_records
    || fd_reopen (STDOUT_FILENO, output_file, O_RDWR | opts, perms) < 0)
    && (fd_reopen (STDOUT_FILENO, output_file, O_WRONLY | opts, perms) < 0))
        error (EXIT_FAILURE, errno, _("opening %s"), quote (output_file));

Здесь мы видим, что если notrunc не указано, то выходной файл будет открыт с помощью O_TRUNC. Глядя ниже на то, как обрабатывается O_TRUNC, мы видим, что обычный файл будет усечен при записи в него.

O_TRUNC

Если файл уже существует и является обычным файлом, а режим открытия позволяет запись (т. е. O_RDWR или O_WRONLY), он будет усечен до длины 0. Если файл является файлом FIFO или файлом терминального устройства, флаг O_TRUNC игнорируется. В противном случае эффект O_TRUNC не указан.

Эффекты notrunc / O_TRUNC I

В следующем примере мы начинаем с создания junk.txt размером 1024 байта. Далее пишем в его начало 512 байт с помощью conv=notrunc. Мы видим, что размер остался прежним — 1024 байта. Наконец, мы пробуем без параметра notrunc и видим, что новый размер файла равен 512. Это потому, что он был открыт с параметром O_TRUNC.

$ dd if=/dev/urandom of=junk.txt bs=1024 count=1
$ ls -l junk.txt
-rw-rw-r-- 1 akyserr akyserr 1024 Dec 11 17:08 junk.txt

$ dd if=/dev/urandom of=junk.txt bs=512 count=1 conv=notrunc
$ ls -l junk.txt
-rw-rw-r-- 1 akyserr akyserr 1024 Dec 11 17:10 junk.txt

$ dd if=/dev/urandom of=junk.txt bs=512 count=1
$ ls -l junk.txt
-rw-rw-r-- 1 akyserr akyserr 512 Dec 11 17:10 junk.txt

Эффекты notrunc / O_TRUNC II

Я до сих пор не ответил на ваш первоначальный вопрос о том, почему при выполнении клонирования с диска на диск важно conv=notrunc. Согласно приведенному выше определению, O_TRUNC, по-видимому, игнорируется при открытии определенных специальных файлов, и я ожидаю, что это верно и для узлов блочных устройств. Однако я не хочу ничего предполагать и попытаюсь доказать это здесь.

openclose.c

Я написал здесь простую программу на C, которая открывает и закрывает файл, переданный в качестве аргумента с флагом O_TRUNC.

#include <stdio.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <time.h>

int main(int argc, char * argv[])
{
    if (argc < 2)
    {
        fprintf(stderr, "Not enough arguments...\n");
        return (1);
    }

    int f = open(argv[1], O_RDWR | O_TRUNC);

    if (f >= 0)
    {
        fprintf(stderr, "%s was opened\n", argv[1]);
        close(f);
        fprintf(stderr, "%s was closed\n", argv[1]);
    } else {
        perror("Opening device node");
    }

    return (0);
}

Обычный файловый тест

Ниже мы видим, что простое действие открытия и закрытия файла с O_TRUNC приведет к потере всего, что уже было там.

$ dd if=/dev/urandom of=junk.txt bs=1024 count=1^C
$ ls -l junk.txt 
-rw-rw-r-- 1 akyserr akyserr 1024 Dec 11 17:26 junk.txt

$ ./openclose junk.txt
junk.txt was opened
junk.txt was closed

$ ls -l junk.txt
-rw-rw-r-- 1 akyserr akyserr 0 Dec 11 17:27 junk.txt

Проверка файла блокирующего устройства

Попробуем аналогичный тест на флешке. Мы видим, что мы начинаем с одного раздела на USB-накопителе. Если он будет «усечен», возможно, раздел исчезнет (учитывая, что он определен в первых 512 байтах диска)?

$ ls -l /dev/sdc*
brw-rw---- 1 root disk 8, 32 Dec 11 17:22 /dev/sdc
brw-rw---- 1 root disk 8, 33 Dec 11 17:22 /dev/sdc1

$ sudo ./openclose /dev/sdc
/dev/sdc was opened
/dev/sdc was closed

$ sudo ./openclose /dev/sdc1
/dev/sdc1 was opened
/dev/sdc1 was closed

$ ls -l /dev/sdc*
brw-rw---- 1 root disk 8, 32 Dec 11 17:31 /dev/sdc
brw-rw---- 1 root disk 8, 33 Dec 11 17:31 /dev/sdc1

Похоже, открытие диска или раздела 1 диска с параметром O_TRUNC не имеет никакого значения. Насколько я могу судить, файловая система все еще монтируется, а файлы доступны и не повреждены.

Эффекты notrunc / O_TRUNC III

Хорошо, для моего последнего теста я буду использовать dd напрямую на своей флешке. Я начну с записи 512 байтов случайных данных, а затем записи 256 байтов нулей в начале. Для окончательного теста мы проверим, что последние 256 байтов остались неизменными.

$ sudo dd if=/dev/urandom of=/dev/sdc bs=256 count=2
$ sudo hexdump -n 512 /dev/sdc
0000000 3fb6 d17f 8824 a24d 40a5 2db3 2319 ac5b
0000010 c659 5780 2d04 3c4e f985 053c 4b3d 3eba
0000020 0be9 8105 cec4 d6fb 5825 a8e5 ec58 a38e
0000030 d736 3d47 d8d3 9067 8db8 25fb 44da af0f
0000040 add7 c0f2 fc11 d734 8e26 00c6 cfbb b725
0000050 8ff7 3e79 af97 2676 b9af 1c0d fc34 5eb1
0000060 6ede 318c 6f9f 1fea d200 39fe 4591 2ffb
0000070 0464 9637 ccc5 dfcc 3b0f 5432 cdc3 5d3c
0000080 01a9 7408 a10a c3c4 caba 270c 60d0 d2f7
0000090 2f8d a402 f91a a261 587b 5609 1260 a2fc
00000a0 4205 0076 f08b b41b 4738 aa12 8008 053f
00000b0 26f0 2e08 865e 0e6a c87e fc1c 7ef6 94c6
00000c0 9ced 37cf b2e7 e7ef 1f26 0872 cd72 54a4
00000d0 3e56 e0e1 bd88 f85b 9002 c269 bfaa 64f7
00000e0 08b9 5957 aad6 a76c 5e37 7e8a f5fc d066
00000f0 8f51 e0a1 2d69 0a8e 08a9 0ecf cee5 880c
0000100 3835 ef79 0998 323d 3d4f d76b 8434 6f20
0000110 534c a847 e1e2 778c 776b 19d4 c5f1 28ab
0000120 a7dc 75ea 8a8b 032a c9d4 fa08 268f 95e8
0000130 7ff3 3cd7 0c12 4943 fd23 33f9 fe5a 98d9
0000140 aa6d 3d89 c8b4 abec 187f 5985 8e0f 58d1
0000150 8439 b539 9a45 1c13 68c2 a43c 48d2 3d1e
0000160 02ec 24a5 e016 4c2d 27be 23ee 8eee 958e
0000170 dd48 b5a1 10f1 bf8e 1391 9355 1b61 6ffa
0000180 fd37 7718 aa80 20ff 6634 9213 0be1 f85e
0000190 a77f 4238 e04d 9b64 d231 aee8 90b6 5c7f
00001a0 5088 2a3e 0201 7108 8623 b98a e962 0860
00001b0 c0eb 21b7 53c6 31de f042 ac80 20ee 94dd
00001c0 b86c f50d 55bc 32db 9920 fd74 a21e 911a
00001d0 f7db 82c2 4d16 3786 3e18 2c0f 47c2 ebb0
00001e0 75af 6a8c 2e80 c5b6 e4ea a9bc a494 7d47
00001f0 f493 8b58 0765 44c5 ff01 42a3 b153 d395

$ sudo dd if=/dev/zero of=/dev/sdc bs=256 count=1
$ sudo hexdump -n 512 /dev/sdc
0000000 0000 0000 0000 0000 0000 0000 0000 0000
*
0000100 3835 ef79 0998 323d 3d4f d76b 8434 6f20
0000110 534c a847 e1e2 778c 776b 19d4 c5f1 28ab
0000120 a7dc 75ea 8a8b 032a c9d4 fa08 268f 95e8
0000130 7ff3 3cd7 0c12 4943 fd23 33f9 fe5a 98d9
0000140 aa6d 3d89 c8b4 abec 187f 5985 8e0f 58d1
0000150 8439 b539 9a45 1c13 68c2 a43c 48d2 3d1e
0000160 02ec 24a5 e016 4c2d 27be 23ee 8eee 958e
0000170 dd48 b5a1 10f1 bf8e 1391 9355 1b61 6ffa
0000180 fd37 7718 aa80 20ff 6634 9213 0be1 f85e
0000190 a77f 4238 e04d 9b64 d231 aee8 90b6 5c7f
00001a0 5088 2a3e 0201 7108 8623 b98a e962 0860
00001b0 c0eb 21b7 53c6 31de f042 ac80 20ee 94dd
00001c0 b86c f50d 55bc 32db 9920 fd74 a21e 911a
00001d0 f7db 82c2 4d16 3786 3e18 2c0f 47c2 ebb0
00001e0 75af 6a8c 2e80 c5b6 e4ea a9bc a494 7d47
00001f0 f493 8b58 0765 44c5 ff01 42a3 b153 d395

Резюме

Из приведенных выше экспериментов кажется, что notrunc важен только тогда, когда у вас есть файл, в который вы хотите записать, но не хотите его обрезать. Похоже, это не влияет на блочное устройство, такое как sda или sdb.

person rkyser    schedule 11.12.2013
comment
Да ответь! Спасибо за подробности. - person Undo; 14.12.2013
comment
Фантастический ответ! Молодец, всё прояснилось. - person FrederikNS; 11.02.2014
comment
+1, но вы могли бы сказать, что это не влияет на блочное устройство, такое как sda или sdb. в начале ;р - person Kamil Dziedzic; 23.03.2014
comment
@KamilDziedzic добавил раздел TL;DR специально для тебя, Камил :) - person rkyser; 15.05.2014
comment
Есть ли ситуация, которая потребует notrunc, если используется conv=noerror,sync? - person Frank Breitling; 29.05.2018
comment
Фантастический ответ! Спасибо за это прекрасное объяснение! - person Rarylson Freitas; 30.11.2018