Выделение самого большого буфера без использования подкачки

Что ж, под Linux вы можете использовать mlock () / mlockall (), чтобы сохранить диапазон адресов в физической памяти и предотвратить его подкачку. Процесс, использующий mlock, требует для этого нескольких привилегий, подробности есть у man mlock. Я не уверен в максимальном блоке mlock'able (он может отличаться от того, что кажется "свободным"), поэтому, вероятно, может помочь двоичный поиск (заблокируйте диапазон, если это не поможет, уменьшите размер области и т. Д.)

С другой стороны, 110 МБ / с не проблема для твердотельного накопителя. Твердотельный накопитель на 60 ГБ со скоростью записи 280 МБ / с стоит около 200 долларов. Просто скопируйте данные датчика в небольшой буфер записи и передайте их на SSD.

Если компьютерная система предназначена для получения данных от вашего датчика, вы можете просто отключить подкачку. Затем выделите как можно больший буфер, оставив в системе достаточно памяти только для основных инструментов.

Если вы malloc необходимый объем памяти и записываете в него с такой скоростью, вы все равно получите удар производительности из-за всех ошибок страниц (т. Е. Сопоставления каждой страницы виртуальной памяти с физической памятью, что также может включать в себя замену памяти из другие процессы).

Чтобы этого избежать, вы можете memset весь выделенный буфер обнулить до того, как начнете считывать данные с датчика, чтобы вся необходимая виртуальная память была сопоставлена ​​с физической памятью.

Если вы используете только доступную физическую память, вы вообще не должны страдать от подкачки. Использование большего количества приведет к тому, что память других процессов будет перемещена на диск - если эти процессы простаивают, это не должно создавать никаких проблем. Если они активны (то есть используют свою память время от времени), произойдет некоторая подкачка - вероятно, с гораздо меньшей скоростью, чем пропускная способность жесткого диска. Чем больше памяти вы используете, тем больше памяти активных процессов будет выгружено, и будет происходить больше активности HD - на этом этапе максимальный объем памяти, который вы могли бы использовать с приличной производительностью, в значительной степени является результатом проб и ошибок.

Используя больше доступной физической памяти, вы определенно вызовете своппинг со скоростью записи в память, и этого невозможно избежать.

Как лучше всего определить, сколько памяти выделить?

Из-за того, как используется виртуальная память, а не заменяемая память ядра, практически невозможно определить, какой объем установленной памяти доступен для приложения.

Лучшее, что я могу придумать, - это позволить пользователю настроить, сколько памяти использовать для буферизации.

Ограничен ли я выделением блока чуть меньшего размера, чем заявленная свободная память?

Сообщаемая свободная память на самом деле не является «свободной физической памятью». К несчастью.

или я могу более напрямую взаимодействовать с менеджером виртуальной памяти Linux?

Это можно сделать, используя специальный драйвер устройства, выделяя память непосредственно в пространстве ядра и предоставляя к ней доступ через mmap(). Обычно не рекомендуется, но будет работать в специализированных случаях, таких как ваш.

Однако мне также нужно убедиться, что не будет подкачки диска.

По мере развития ядра Linux знания устаревают довольно быстро, поэтому отнеситесь к тому, что я говорю, с недоверием. Вы можете попробовать поиграть со следующим:

1. Общая память SysV. Его вообще не меняют местами. См. man shmget.

2. tmpfs - файловая система в памяти. Память была прикреплена к ОЗУ, по крайней мере, в ранних ядрах 2.6 и, следовательно, не подлежала замене. Чтобы использовать его в качестве памяти, создайте файл в tmpfs, write() что-нибудь в файле (для принудительного выделения памяти), а затем mmap () файл.