Самый быстрый способ скопировать файлы из одного каталога в другой

Поскольку ваша подсистема ввода-вывода почти наверняка является здесь узким местом, использование библиотеки параллельных задач, вероятно, настолько хорошо, насколько это возможно:

static void Main(string[] args)
{
  DirectoryInfo source      = new DirectoryInfo( args[0] ) ;
  DirectoryInfo destination = new DirectoryInfo( args[1] ) ;

  HashSet<string> filesToBeCopied = new HashSet<string>( ReadFileNamesFromDatabase() , StringComparer.OrdinalIgnoreCase ) ;

  // you'll probably have to play with MaxDegreeOfParallellism so as to avoid swamping the i/o system
  ParallelOptions options= new ParallelOptions { MaxDegreeOfParallelism = 4 } ;

  Parallel.ForEach( filesToBeCopied.SelectMany( fn => source.EnumerateFiles( fn ) ) , options , fi => {
      string destinationPath = Path.Combine( destination.FullName , Path.ChangeExtension( fi.Name , ".jpg") ) ;
      fi.CopyTo( destinationPath , false ) ;
  }) ;

}

public static IEnumerable<string> ReadFileNamesFromDatabase()
{
  using ( SqlConnection connection = new SqlConnection( "connection-string" ) )
  using ( SqlCommand cmd = connection.CreateCommand() )
  {
    cmd.CommandType = CommandType.Text ;
    cmd.CommandText = @"
      select idPic ,
             namePicFile
      from DocPicFiles
      " ;

    connection.Open() ;
    using ( SqlDataReader reader = cmd.ExecuteReader() )
    {
      while ( reader.Read() )
      {
        yield return reader.GetString(1) ;
      }
    }
    connection.Close() ;

  }
}

File.Copy настолько быстр, насколько это возможно. Вы должны иметь в виду, что вы зависите от скорости передачи файлов, определяемой вашим оборудованием, и при 20000 файлов задержка доступа к данным также играет роль. Если вы делаете это на жестком диске, вы можете увидеть значительное улучшение после перехода на SSD или какой-либо другой быстрый носитель.

Только в этом случае, скорее всего, аппаратное обеспечение является вашим узким местом.

РЕДАКТИРОВАТЬ: я считаю плохой практикой держать соединение с базой данных открытым в течение такого длительного времени. Я предлагаю вам извлечь все необходимые данные из некоторого кеша в памяти (массив, список и т. д.), а затем перебирать их по мере копирования файлов. Соединение с базой данных является ценным ресурсом, и в приложениях, которые должны обрабатывать высокий параллелизм (но не только), быстрое освобождение соединения является обязательным.

Позвольте мне сделать предположение - Ммммм... Нет. Нет способа сделать это быстрее.

Почему я так уверен? Потому что копирование файлов требует обращения к диску, а это ужасно медленная операция. Более того, если вы попытаетесь использовать многопоточность, результаты будут медленнее, а не быстрее, потому что «механическая» операция перемещения головки по диску больше не является последовательной, что могло быть случайно раньше.

См. ответы на этот вопрос, который я задавал ранее.

Так что да, попробуйте перейти на твердотельные накопители, если вы их еще не используете, иначе вы уже получаете лучшее.

Ниже приведено кое-что, чтобы мы могли понять, что означает медленно при записи на диск по сравнению с кэшем. Если доступ к кэшу занимает 10 минут, это означает, что чтение с диска занимает 2 года. Все обращения показаны на изображении ниже. Очевидно, что когда ваш код будет выполняться, узким местом будет запись на диск. Лучшее, что вы можете сделать, чтобы запись на диск оставалась последовательной.

Я решил эту проблему, создав один сжатый файл (.zip), используя параметр для простого сохранения файла (без сжатия). Создание одного файла (.zip), перемещение этого одного файла, а затем расширение в нужном месте оказалось в 2 раза быстрее при работе с тысячами файлов.