Чтение из огромного MemoryStream в C#

Правка. Изучая основы, я понимаю, что файлы с отображением памяти могут работать медленнее, чем обычный ввод-вывод для последовательного доступа.

Вы пробовали что-то вроде этого:

var stream = new FileStream("data", 
    FileMode.Open, 
    FileAccess.Read, 
    FileShare.Read, 
    16 * 1024, 
    FileOptions.SequentialScan)

var reader = new BinaryReader(stream);

Если ваши данные находятся в файле и вы можете использовать .NET 4.0, рассмотрите возможность использования MemoryMappedFile.

Затем вы можете использовать MemoryMappedViewStream для получить поток или использовать MemoryMappedViewAccessor для получить BinaryReader-подобный интерфейс.

Для чрезмерно больших потоков вы не должны пытаться сбрасывать их в MemoryStream — вместо этого используйте такие вещи, как FileStream, и общайтесь напрямую с диском. Встроенной буферизации обычно достаточно, или вы можете настроить ее с помощью таких вещей, как BufferedStream (но мне редко приходилось это делать, но я обычно добавляю свой собственный буфер обработки данных).

Вы также можете рассмотреть такие вещи, как сжатие или плотно упакованные данные, а также сериализаторы, предназначенные для работы с потоковыми записями, а не для создания всего графика сразу (хотя, поскольку вы упомянули BinaryReader, вы, возможно, уже делаете это вручную , так что это может быть не проблема).