Лучший способ обрабатывать импорт плоских файлов в SQL Server с помощью C # .Net

• Я написал консольное приложение, которое читает список плоских файлов
• и проанализировать тип данных по строкам
• и вставляет записи одну за другой в соответствующие таблицы.

есть несколько плоских файлов, которые содержат около 63 тыс. записей (строк). для таких файлов моей программе требуется около 6 часов для завершения одного файла из 63 тыс. записей.

Это файл тестовых данных. На производстве мне приходится иметь дело с нагрузкой в ​​100 раз больше.

Я волнуюсь, смогу ли я сделать это лучше, чтобы ускориться.

Кто-нибудь может предложить лучший способ справиться с этой работой?

Рабочий процесс выглядит следующим образом:

1. Прочтите FlatFile с локального компьютера, используя File.ReadAllLines("location")
2. Создайте объект Record Entity после анализа каждого поля строки.
3. Вставьте эту текущую строку в Entity

Цель сделать это консольным приложением. Это приложение должно запускаться (запланированное приложение) еженедельно, и в нем есть условная логика, на основе некоторой переменной будет

• полная таблица заменить или
• обновить существующую таблицу или
• удалить записи в таблице.