Более быстрый способ разделения текста в Delphi TStringList

Я не проверял скорость, но для академических целей есть простой способ разделить строки:

myStringList.Text :=
  StringReplace(myStringList.Text, myDelimiter, #13#10, [rfReplaceAll]);
// Use [rfReplaceAll, rfIgnoreCase] if you want to ignore case

Когда вы устанавливаете свойство Text для TStringList, оно анализирует новые строки и разбивается там, поэтому работает преобразование в строку, замена разделителя новыми строками, а затем назначение его обратно свойству Text.

Проблемы с вашим кодом (по крайней мере, второй подход)

• Вы постоянно используете нижний регистр, который работает медленно, если вызывается так много раз
• Если я правильно понял, вы копируете весь оставшийся текст обратно в первоисточник. Это обязательно будет очень медленным для больших строк (например, файлов)

У меня есть токенизатор в моей библиотеке. Это не самый быстрый или лучший способ, но он должен работать (вы можете получить его из Библиотека Cromis, просто используйте модули Cromis.StringUtils и Cromis.Unicode):

type
  TTokens = array of ustring;

  TTextTokenizer = class
  private
    FTokens: TTokens;
    FDelimiters: array of ustring;
  public
    constructor Create;
    procedure Tokenize(const Text: ustring);
    procedure AddDelimiters(const Delimiters: array of ustring);
    property Tokens: TTokens read FTokens;
  end;

{ TTextTokenizer }

procedure TTextTokenizer.AddDelimiters(const Delimiters: array of ustring);
var
  I: Integer;
begin
  if Length(Delimiters) > 0 then
  begin
    SetLength(FDelimiters, Length(Delimiters));

    for I := 0 to Length(Delimiters) - 1 do
      FDelimiters[I] := Delimiters[I];
  end;
end;

constructor TTextTokenizer.Create;
begin
  SetLength(FTokens, 0);
  SetLength(FDelimiters, 0);
end;

procedure TTextTokenizer.Tokenize(const Text: ustring);
var
  I, K: Integer;
  Counter: Integer;
  NewToken: ustring;
  Position: Integer;
  CurrToken: ustring;
begin
  SetLength(FTokens, 100);
  CurrToken := '';
  Counter := 0;

  for I := 1 to Length(Text) do
  begin
    CurrToken := CurrToken + Text[I];

    for K := 0 to Length(FDelimiters) - 1 do
    begin
      Position := Pos(FDelimiters[K], CurrToken);

      if Position > 0 then
      begin
        NewToken := Copy(CurrToken, 1, Position - 1);

        if NewToken <> '' then
        begin
          if Counter > Length(FTokens) then
            SetLength(FTokens, Length(FTokens) * 2);

          FTokens[Counter] := Trim(NewToken);
          Inc(Counter)
        end;

        CurrToken := '';
      end;
    end;
  end;

  if CurrToken <> '' then
  begin
    if Counter > Length(FTokens) then
      SetLength(FTokens, Length(FTokens) * 2);

    FTokens[Counter] := Trim(CurrToken);
    Inc(Counter)
  end;

  SetLength(FTokens, Counter);
end;

Как насчет использования StrTokens из библиотеки JCL?

процедура StrTokens (const S: строка; const List: TStrings);

Это открытый исходный код http://sourceforge.net/projects/jcl/.

В качестве дополнительной опции вы можете использовать регулярные выражения. Последние версии Delphi (XE4 и XE5) имеют встроенную поддержку регулярных выражений; для более старых версий можно найти бесплатную загрузку библиотеки регулярных выражений (zip-файл) по адресу Регулярные-выражения.info.

Для встроенной поддержки регулярных выражений (использует общий TArray<string>):

var
  RegexObj: TRegEx;
  SplitArray: TArray<string>;
begin
  SplitArray := nil;
  try
    RegexObj := TRegEx.Create('\[test\]'); // Your sample expression. Replace with q
    SplitArray := RegexObj.Split(Lines, 0);
  except
    on E: ERegularExpressionError do begin
    // Syntax error in the regular expression
    end;
  end;
  // Use SplitArray
end;

Для использования TPerlRegEx в более ранних версиях Delphi:

var
  Regex: TPerlRegEx;
  m2: TStringList;
begin
  m2 := TStringList.Create;
  try
    Regex := TPerlRegEx.Create;
    try
      Regex.RegEx := '\[test\]';  //  Using your sample expression - replace with q
      Regex.Options := [];
      Regex.State := [preNotEmpty];
      Regex.Subject := Lines.Text;
      Regex.SplitCapture(m2, 0);
    finally
      Regex.Free;
    end;
    // Work with m2
  finally
    m2.Free;
  end;
end;

(Для тех, кто не знает, \ в примере выражения используется потому, что символы [] имеют смысл в регулярных выражениях и должны быть экранированы, чтобы использоваться в тексте регулярного выражения. Обычно они не требуются в тексте.)