Самый быстрый способ удалить первые несколько байтов файла

Вы делаете побайтовую копию всего файла. Это не может быть эффективным по множеству причин. Найдите начальное смещение (и конечное смещение, если вам нужны оба), затем скопируйте из одного потока в другой все содержимое между двумя смещениями (или начальное смещение и конец файла).

ИЗМЕНИТЬ

Вам не нужно читать все содержимое, чтобы сделать копию. Что-то вроде этого (непроверенное, но вы поняли идею) будет работать.

private void CopyPartial(string sourceName, byte syncByte, string destName)
{
    using (var input = File.OpenRead(sourceName))
    using (var reader = new BinaryReader(input))
    using (var output = File.Create(destName))
    {
        var start = 0;
        // seek to sync byte
        while (reader.ReadByte() != syncByte)
        {
            start++;
        }

        var buffer = new byte[4096]; // 4k page - adjust as you see fit

        do
        {
            var actual = reader.Read(buffer, 0, buffer.Length);
            output.Write(buffer, 0, actual);
        } while (reader.PeekChar() >= 0);
    }

}

ИЗМЕНИТЬ 2

Сегодня мне действительно нужно было что-то подобное, поэтому я решил написать это без вызова PeekChar(). Вот ядро ​​того, что я сделал — не стесняйтесь интегрировать его со вторым циклом do...while выше.

            var buffer = new byte[1024];
            var total = 0;

            do
            {
                var actual = reader.Read(buffer, 0, buffer.Length);
                writer.Write(buffer, 0, actual);
                total += actual;
            } while (total < reader.BaseStream.Length);

Не сбрасывайте со счетов подход, потому что вы боитесь, что он будет слишком медленным. Попробуйте! Это займет всего 5-10 минут, и вы можете найти гораздо лучшее решение.

Если процесс обнаружения начала данных не слишком сложный/медленный, то избегание записи данных до тех пор, пока вы не нажмете начало, может фактически заставить программу пропускать ненужные данные более эффективно.

Как это сделать:

• Используйте простое логическое значение, чтобы узнать, обнаружили ли вы начало данных. Если вы читаете мусор, не тратьте время на запись его в вывод, просто просканируйте его, чтобы обнаружить начало данных. Как только вы найдете начало, остановите сканирование начала и просто скопируйте данные на выход. Простое копирование хороших данных повлечет за собой не более if (found) проверки, которая на самом деле не окажет заметного влияния на вашу производительность.

Вы можете обнаружить, что это само по себе решает проблему. Но вы можете оптимизировать его, если вам нужно больше производительности:

• Что вы можете сделать, чтобы свести к минимуму работу по обнаружению начала данных? Возможно, если вы ищете сложную последовательность, вам нужно только проверить одно конкретное значение байта, которое запускает последовательность, и только если вы найдете этот начальный байт, вам нужно выполнить более сложную проверку. Есть несколько очень простых, но эффективных алгоритмов поиска строк, которые могут помочь и в этом случае. Или, возможно, вы можете выделить буфер (например, 4 КБ) и постепенно заполнять его байтами из вашего входящего потока. Когда буфер заполнен, тогда и только тогда найдите конец «мусора» в вашем буфере. Группируя работу, вы можете использовать согласованность памяти и кэша, чтобы сделать обработку значительно более эффективной, чем если бы вы выполняли ту же работу байт за байтом.

• Нужно ли постоянно проверять все остальные «условия входящих данных»? Как свести к минимуму объем работы, которую необходимо выполнить, но при этом достичь требуемых результатов? Возможно, некоторые из приведенных выше идей могут помочь и здесь?

• Вам действительно нужно выполнять какую-либо обработку данных, пока вы пропускаете мусор? Если нет, то вы можете разбить все это на две фазы (пропустить мусор, скопировать данные), и пропуск мусора ничего вам не будет стоить, когда это действительно важно.