У меня есть огромный файл, который я читаю с помощью fopen и fgetc в цикле.
Чтение всего файла с флагом «rb» в fopen занимает около 6 секунд, в файле около 25 тысяч строк.
I was wondering; what are faster ways than fgetc ? is it better to first load everything in a char* array ? is strcpy better ?
обратите внимание, что лучше, если это будет так, как fgetc, или если я смогу хотя бы получить char за char в массиве.
какие способы лучше, чем fgetc ?
Ну, fgetc уже в значительной степени оптимизирован, потому что он использует базовую буферизацию fopen. Просто вы вызываете функцию (но не системный вызов) для каждого символа. Вы можете попытаться увеличить размер буфера (поскольку вы говорите, что читаете огромные файлы) с помощью setbuffer :
#define SIZE 65536
// or use even greater size if appropriate ...
char buffer[SIZE];
fd = fopen(...);
setbuffer(fd, buffer, SIZE);
В качестве альтернативы, вам нужно читать символ за символом?
Если файл представляет собой текстовый файл, он, вероятно, состоит из строк разумного размера. Затем вы можете попытаться прочитать его построчно, например. с помощью std::getline (или, в C, getline(3))
Если вы находитесь в системе Posix, например. Linux можно использовать низкоуровневые системные вызовы(2), например read(2) или mmap(2). Убедитесь, что у вас достаточно большие буферы, например. 16Кбайт или 64Кбайт.
Кстати, если в Linux попробуйте time wc yourbigfile, это должно дать вам представление о нижней границе времени, действительно необходимого для чтения вашего файла. Помните, что существует кеш файловой системы: подробнее см. http://linuxatemyram.com/.
на моей настольной системе Linux wc из 6 МБ файл размером 100 КБ занимает около 0,1 секунды в реальном времени.
Возможно, прочитайте Advanced Linux Programming, по крайней мере, если вы запускаете свою программу в системах Posix.
Кстати, ваш вопрос касается операционной системы и, возможно, конкретной файловой системы.
Вся проблема с моим кодом заключалась в том, что я использовал fget_pos и fset_pos каждый раз, когда хотел «вернуть» символ, был ungetc, который значительно увеличивает скорость!
fgetc_unlocked, если это предусмотрено вашей реализацией. - person Deduplicator schedule 24.09.2014std::getcможно реализовать как макрос (что мне кажется забавным, учитывая его с указанием пространства имен). Это сделано преднамеренно (часть макроса), она потенциально снижает накладные расходы на вызовы, если только не требуется пополнение буфера. Стоит попробовать протестировать его (конечно, в релизной сборке). И я согласен с Deduplicator, заблокируйте файл спереди и не забудьте разблокировать его, когда закончите. - person WhozCraig schedule 24.09.2014fgetcувеличивает скорость еще на 150 мс или около того, так что я поддерживаю дедупликатор. - person WhozCraig schedule 24.09.2014std::vector<char>.mallocнет места в современной программе на C++. - person WhozCraig schedule 24.09.2014