Непосредственно перед использованием MSVC++ input.getline() для чтения очень большого (3 ГБ) текстового файла с разделителями я хотел оптимизировать скорость, увеличив размер входного буфера:
ifstream input("in1.txt");
input.rdbuf()->pubsetbuf(NULL, 1024 * 1024);
Однако при выполнении кода скорость не улучшилась, поэтому хотелось бы знать:
С Уважением.
Рассматривали ли вы системный вызов mmap()?
Функция mmap() должна установить отображение между адресным пространством процесса и файлом, объектом разделяемой памяти или объектом типизированной памяти. Формат вызова следующий:
pa=mmap(addr, len, prot, flags, fildes, off);
MapViewOfFile — эквивалент Windows.
LPVOID WINAPI MapViewOfFile( __in HANDLE hFileMappingObject,
__in DWORD dwDesiredAccess, __in DWORD dwFileOffsetHigh, __in DWORD dwFileOffsetLow, __in SIZE_T dwNumberOfBytesToMap );
Суть буферизации в том, что она работает на многих уровнях, у вас есть буферизация на уровне библиотеки (ifstream), у вас есть буферизация на уровне ОС и буферизация на аппаратном уровне. Изменение размера любого из них может оказать существенное или несуществующее влияние на производительность.
Что правда, так это то, что «логика» программы будет намного быстрее, чем у IO.
Лично, если горлышко бутылки не серьезно, я бы оставил его в покое.
Вы получите самую высокую производительность, используя CreateFile и ReadFile. Откройте файл с помощью FILE_FLAGS_SEQUENTIAL_SCAN.
Чтение с размером буфера, равным степени двойки. Только бенчмаркинг может определить это число. Однажды я видел, что это 8K. В другой раз я обнаружил, что это 8M! Это сильно варьируется.
Это зависит от размера кэш-памяти ЦП, от эффективности упреждающего чтения ОС и от накладных расходов, связанных с выполнением множества небольших операций записи.
Отображение памяти — не самый быстрый способ. У него больше накладных расходов, потому что вы не можете контролировать размер блока, а ОС должна выдавать ошибки на всех страницах.
MapViewOfFile выполняется немного быстрее, чем FILE_FLAG_NO_BUFFERING, показывает, что отображение памяти либо намного эффективнее, чем ReadFile, возможно, из-за отсутствия необходимости копировать все из кеша на частную страницу, принадлежащую приложению, либо отображение памяти выполняет собственную предварительную выборку (которая была отключена для ReadFile в этом вопросе), или, возможно, некоторые из них.
- person Ben Voigt; 24.02.2012
Вы можете попробовать использовать функцию файла с отображением памяти, предоставляемую ОС, или, если память не является проблемой, попробуйте прочитать весь файл в память перед обработкой.
Я хотел оптимизировать скорость
Избавьтесь от fstream. iostreams вообще ужасное узкое место.
