Delphi ClientDataSet - операция удаления - почему она такая медленная?

Подумал, что я мог бы также предоставить подробную информацию о моем собственном (временном / возможно постоянном?) Обходном пути на случай, если кто-то с такой же проблемой заинтересован.

ПРОБЛЕМА: удаление большой части записей из большого набора TClientDataSet (100 тыс. Или более записей) занимает много времени при использовании операции удаления по сравнению с начальным временем для добавления элементов (коэффициент 40 или более).

РЕШЕНИЕ: Скопируйте все записи, которые вы не хотите удалять, в новый набор данных, затем удалите оригинал. [Минусы: потеря журнала изменений, дополнительные требования к оперативной памяти?]

var
 CDS: TClientDataSet;

// initialize new CDS instance
function CreateNewCDSInstance: TCLientDataSet;
begin
 Result := TClientDataSet.Create(nil);
 Result.FieldDefs.Add('ID', ftInteger);
 Result.CreateDataSet;
 Result.LogChanges := False;
end;

// close + free CDS instance
procedure CloseCDS;
begin
 CDS.EmptyDataSet;
 CDS.Close;
 CDS.Free;
end;

// delete current record?
function CanDeleteCurrentRecord: boolean;
begin
 Result := CDS['ID'] < 50001; //in this simple example
 // in my application it would be more like:
 // "CDS['FILE_ID'] = AFileIDToDelete"
end;

// delete block of records:
procedure DeleteRecords;
var
 aNewCopy: TClientDataSet;
begin
 aNewCopy := CreateNewCDSInstance;
 CDS.First;
 while not CDS.EoF do
 begin
  if not CanDeleteCurrentRecord then
  begin
   // NB: AppendRecord takes array of values corresponding to field defintions
   aNewCopy.AppendRecord([CDS['ID']]);
  end;
  CDS.Next;
 end;
 CloseCDS;
 CDS := aNewCopy;
 //NB: If you have any aggregates/indexes defined, they must be redefined
end;

Используя приведенный выше пример, этот метод удаления 50k элементов занимает 94 мс вместо ~ 4 секунд.

Однако, задав этот вопрос и прочитав комментарии, мне стало очевидно, что это решение - скорее повязка, чем лекарство. Более серьезная проблема заключается в том, что система, над которой я работаю, не очень хорошо спроектирована для обработки необходимого количества данных. Возможно, это не столько «проблема с TClientDataSet», сколько «проблема с тем, как мы используем TClientDataSet»! Даже с исправлением скорости удаления по-прежнему будут проблемы с производительностью при импорте все большего размера и количества файлов и последующем управлении этими данными.

Возможно (в дождливый день!) Я начну рассматривать подход, похожий на предложение SilverWarior об использовании отдельного набора данных для хранения каждого импортированного файла вместо того, чтобы разбрасывать все данные в одну огромную таблицу памяти. Тогда удаление файла превращается в удаление набора данных - среди других потенциальных преимуществ.