Распаковка LZMA SDK для iOS (xcode) с использованием слишком большого объема оперативной памяти

Игорь Павлов, автор 7zip, написал мне по электронной почте, он в основном сказал, что наблюдения, которые я сделал в исходном вопросе, являются известным ограничением версии c SDK. Версия C++ не имеет этого ограничения. Фактическая цитата:

«7-Zip использует другой многопоточный декодер, написанный на C++. Этому декодеру C++ .7z не нужно выделять блок ОЗУ для всего сплошного блока. Прочтите также эту тему:

http://sourceforge.net/projects/sevenzip/forums/forum/45797/topic/5655623 "

Так что, пока кто-то не исправит SDK для iOS, обходным путем будет:

1) Решите, какой лимит ОЗУ вы хотите иметь для операций распаковки файлов.

2) Любой ОДИН файл в вашем архиве, который превышает лимит из 1 выше, должен быть разделен, вы можете сделать это с помощью любого приложения для разделения двоичных файлов, такого как splits: http://www.fourmilab.ch/splits/

3) После того, как ваши файлы будут готовы, создайте файл 7z, используя параметры словаря/размера блока, как описано MoDJ в его ответе, например, с ограничением в 24 мегабайта: 7za a -mx=9 -md=24m -ms=24m CompressedFile. Исходные файлы 7z*

4) В приложении для iOS после распаковки файлов определите, какие файлы были разделены, и снова соедините их вместе. Код для этого не так уж и сложен (я предполагаю соглашение об именах, которое использует split.exe, а именно файл.001, файл.002 и т. д.).

    if(iParts>1)
    {
        //If this is a multipart binary split file, we must combine all of the parts before we can use it
        NSString *finalfilePath = whateveryourfinaldestinationfilenameis
        NSString *splitfilePath = [finalfilePath stringByAppendingString:@".001"];

        NSFileHandle *myHandle;
        NSFileManager *fileManager = [NSFileManager defaultManager];
        NSError *error;

        //If the target combined file exists already, remove it
        if ([fileManager fileExistsAtPath:finalfilePath]) 
        {
            BOOL success = [fileManager removeItemAtPath:finalfilePath error:&error];
            if (!success) NSLog(@"Error: %@", [error localizedDescription]);
        }

        myHandle  = [NSFileHandle fileHandleForUpdatingAtPath:splitfilePath];
        NSString *nextPart;
        //Concatenate each piece in order
        for (int i=2; i<=iParts; i++) {
            //Assumes fewer than 100 pieces
            if (i<10) nextPart = [splitfilePath stringByReplacingOccurrencesOfString:@".001" withString:[NSString stringWithFormat:@".00%d", i]];
            else nextPart = [splitfilePath stringByReplacingOccurrencesOfString:@".001" withString:[NSString stringWithFormat:@".0%d", i]];
            NSData *datapart = [[NSData alloc] initWithContentsOfFile:(NSString *)nextPart];
            [myHandle seekToEndOfFile];
            [myHandle writeData:datapart];
        }    
        [myHandle closeFile];
        //Rename concatenated file
        [fileManager moveItemAtPath:splitfilePath toPath:finalfilePath error:&error];
    }

Хорошо, так что это сложный вопрос. Причина, по которой вы сталкиваетесь с проблемами, заключается в том, что iOS не имеет виртуальной памяти, в отличие от вашей настольной системы. Библиотека lzmaSDK написана таким образом, что предполагается, что в вашей системе достаточно виртуальной памяти для распаковки. Вы не увидите проблем с запуском на рабочем столе. Только при выделении больших объемов памяти для распаковки на iOS вы столкнетесь с проблемами. Было бы лучше решить эту проблему, переписав lzma SDK, чтобы он лучше напрямую использовал отображаемую память, но это нетривиальная задача. Вот как обойти эту проблему.

Использование 7za

На самом деле есть 2 параметра командной строки, которые вы захотите передать программе архивации 7zip, чтобы сегментировать файлы на более мелкие фрагменты. Я собираюсь предложить вам просто использовать размер 24 мегабайта, который я в конечном итоге использовал, поскольку это был достойный компромисс между пространством и памятью. Вот командная строка, которая должна помочь, обратите внимание, что в этом примере у меня есть большие файлы фильмов с именем XYZ.flat, и я хочу сжать их вместе в файл archive.7z:

7za a -mx=9 -md=24m -ms=24m Animations_9_24m_NOTSOLID.7z *.flat

Если вы сравните этот сегментированный файл с версией, которая не разбивает файл на сегменты, вы увидите, что файл становится немного больше при сегментации:

$ ls -la Animations_9_24m.7z Animations_9_24m_NOTSOLID.7z
-rw-r--r--  1 mo  staff  8743171 Sep 30 03:01 Animations_9_24m.7z
-rw-r--r--  1 mo  staff  9515686 Sep 30 03:21 Animations_9_24m_NOTSOLID.7z

Таким образом, сегментация уменьшает сжатие примерно на 800 КБ, но это не такая уж большая потеря, потому что теперь процедуры распаковки не будут пытаться выделить кучу памяти. Использование памяти для декомпрессии теперь ограничено 24-мегабайтным блоком, который может обрабатывать iOS.

Дважды проверьте свои результаты, распечатав информацию заголовка сжатого файла:

$ 7za l -slt Animations_9_24m_NOTSOLID.7z

Path = Animations_9_24m_NOTSOLID.7z
Type = 7z
Method = LZMA
Solid = +
Blocks = 7
Physical Size = 9515686
Headers Size = 1714

Обратите внимание на элемент «Блоки» в приведенном выше выводе, он указывает, что данные были сегментированы на разные блоки по 24 мегабайта.

Если вы сравните приведенную выше информацию о сегментированном файле с выводом без аргумента -ms=24m, вы увидите:

$ 7za l -slt Animations_9_24m.7z

Path = Animations_9_24m.7z
Type = 7z
Method = LZMA
Solid = +
Blocks = 1
Physical Size = 8743171
Headers Size = 1683

Обратите внимание на значение «Блоки», вам не нужен только 1 огромный блок, поскольку он будет пытаться выделить огромный объем памяти при распаковке на iOS.

Я столкнулся с той же проблемой, но нашел гораздо более практичное решение:

• используйте CPP-интерфейс LZMA SDK. Он использует очень мало памяти и не страдает от проблемы с потреблением памяти, как интерфейс C (как уже правильно сказал tradergordo).

• взгляните на LZMAAlone.cpp, удалите из него все ненужное (например, кодирование, файлы формата 7-zip и, кстати, кодирование также потребует большой памяти) и создайте крошечный файл заголовка для вашего декомпрессора CPP LZMA, например:

extern "C" int extractLZMAFile (const char *filePath, const char *outPath);

• для очень больших файлов (например, файлов размером более 100 МБ) я использую декомпрессию LZMA для сжатия этого файла. Конечно, поскольку у LZMA нет файлового контейнера, вам нужно указать имя распакованного файла.

• поскольку у меня нет полной поддержки 7Z, я использую tar в качестве контейнера вместе со сжатыми файлами lzma. На https://github.com/mhausherr/Light-Untar-for-iOS

К сожалению, я не могу предоставить никаких источников, хотя и хотел бы.