Что в Linux было бы самым быстрым способом чтения файла в массив байтов/обработки байтов? Это может включать отображение памяти, системные вызовы и т. д. Я не знаком со многими функциями, специфичными для Linux.
В прошлом я использовал ускоренное сопоставление памяти, но мне нужна более высокая производительность, характерная для Linux, а не переносимость.
mmap должен быть самым быстрым способом доступа к содержимому файла, если файл достаточно большой. Первоначальные затраты на настройку отображения памяти компенсируются отсутствием необходимости копировать данные из кэша страниц в пространство пользователя. И если вам нужно все содержимое файла, стоимость выделения памяти для вашей программы должна быть более или менее такой же, как стоимость mmap.
Лучше всего, как всегда, тестировать и сравнивать.
Не позволяйте себя одурачить такими ленивыми вещами, как картирование памяти. Лучше сосредоточьтесь на том, что вам действительно нужно. Вам действительно нужно прочитать весь файл в память? Тогда прямой способ открытия, чтения кусков в цикле и закрытия файла будет настолько быстрым, насколько это возможно.
Но часто вы действительно этого не хотите. Вместо этого вы можете захотеть прочитать определенные части, блок здесь, блок там, перейти через файл, прочитать блок в определенной позиции и т. д.
Тогда все еще fseekобработка этих позиций и freadобработка блоков не будет иметь накладных расходов, о которых стоит упомянуть. Но может быть удобнее использовать отображение памяти, чтобы позволить операционной системе или библиотеке заниматься такими вещами, как выделение памяти и т. Д. Однако это не ускорит работу.
mmap должен быть быстрее для достаточно больших файлов, потому что вы можете избежать копирования данных из кэша страниц в пользовательскую среду. Это совсем не лень. При произвольном доступе не должно быть никакой разницы, поскольку mmap на самом деле не считывает больше данных из файловой системы, чем любой случайный поиск/чтение. Единственным недостатком mmap могут быть накладные расходы на создание сопоставления, но они не должны быть выше, чем вызовет malloc. Особенно, когда вы вызываете malloc несколько раз.
- person Art; 16.10.2013
boost::iostreamsиспользуетmmapв Linux, вы можете увидеть небольшую разницу, используя его напрямую. - person Jesse Good schedule 16.10.2013man readv(). - person rakib_ schedule 16.10.2013