Парсинг лог-файлов

Извините, что немного поздно, я немного завязал с работой (чертова работа, ожидающая, что я буду продуктивным, пока они на их копейке). В итоге я получил что-то похожее на решение Ansgar Wiechers, но отформатировал вещи в объекты и собрал их в массив. Он не управляет XML-файлом, который вы добавили позже, но дает хороший массив объектов для работы с другими записями. Я объясню основную строку RegEx здесь, я прокомментирую там, где это практично.

'(^\d{4}/\d{2}/\d{2} \d{2}:\d{2}:\d{2}) [\d+?] (\w+?) {1 ,2}(.+?) - (.+)$' — это регулярное выражение, определяющее начало новой записи. Я начал объяснять это, но, вероятно, для вас есть лучшие ресурсы для изучения RegEx, чем я, объясняющий это мне. См. ссылку на RegEx101.com для полной разбивки и примеров.

$Records=@() #Create empty array that we will populate with custom objects later
$Event = $Null #make sure nothing in $Event to give script a clean start
Get-Content 'C:\temp\test1.txt' | #Load file, and start looping through it line-by-line.
?{![string]::IsNullOrEmpty($_)}|% { #Filter out blank lines, and then perform the following on each line
  if ($_ -match '(^\d{4}/\d{2}/\d{2} \d{2}:\d{2}:\d{2}) \[\d+?] (\w+?) {1,2}(.+?) - (.+)$') { #New Record Detector line! If it finds this RegEx match, it means we're starting a new record.
    if ($Event) { #If there's already a record in progress, add it to the Array
      $Records+=$Event
    }
    $Event = New-Object PSObject -Property @{ #Create a custom PSObject object with these properties that we just got from that RegEx match
DateStamp = [datetime](get-date $Matches[1]) #We convert the date/time stamp into an actual DateTime object. That way sorting works better, and you can compare it to real dates if needed.
Type = $Matches[2]
Source = $Matches[3]
Message = $Matches[4]}

Хорошо, небольшая пауза для дела здесь. $Matches не определено мной, почему я на него ссылаюсь? . Когда PowerShell получает совпадения из выражения RegEx, он автоматически сохраняет полученные совпадения в $Matches. Таким образом, все группы, которые мы только что сопоставили в скобках, становятся $Matches[1], $Matches[2] и так далее. Да, это массив, и есть $Matches[0], но это вся строка, с которой было сопоставлено, а не только совпадающие группы. Теперь мы возвращаем вас к вашему регулярно запланированному сценарию...

  } else { #End of the 'New Record' section. If it's not a new record if does the following
    if($_ -match "^((?:[^ ^\[])(?:\w| |\.)+?):(.*)$"){ 

RegEx снова совпадает. Он начинается с утверждения, что это должно быть начало строки с символом карата (^). Затем он говорит (в группе без захвата, отмеченной форматом (?:<stuff>), что на самом деле для моих целей просто означает, что он не будет отображаться в $Matches) [^ \[]; это означает, что следующий символ не может быть пробелом или открывающей скобкой (с экранированием с помощью ), просто чтобы ускорить процесс и пропустить эти строки для этой проверки. Если у вас есть вещи в скобках [], а первый символ - карат, это означает «ничего не сопоставлять в этих скобках».

На самом деле я только что изменил эту следующую часть, включив точки, и использовал \w вместо [a-zA-Z0-9], потому что это по сути то же самое, но короче. \w — это «символ слова» в RegEx, который включает в себя буквы, цифры и знак подчеркивания. Я не уверен, почему подчеркивание считается частью слова, но я не устанавливаю правила, я просто играю в игру. Я использовал [a-zA-Z0-9], который соответствует чему-либо между «a» и «z» (нижний регистр), чему-либо между «A» и «Z» (верхний регистр) и чему-либо между «0» и «9». . Рискуя включить символ подчеркивания, \w намного короче и проще.

Затем фактическая часть захвата этого RegEx. У этого есть 2 группы, первая - буквы, цифры, символы подчеркивания, пробелы и точки (экранированные с помощью \, потому что '.' сам по себе соответствует любому символу). Потом двоеточие. Затем вторая группа, то есть все остальное до конца строки.

        $Field = $Matches[1] #Everything before the colon is the name of the field
        $Value = $Matches[2].trim() #everything after the colon is the data in that field
        $Event | Add-Member $Field $Value #Add the Field to $Event as a NoteProperty, with a value of $Value. Those two are actually positional parameters for Add-Member, so we don't have to go and specify what kind of member, specify what the name is, and what the value is. Just Add-Member <[string]name> <value can be a string, array, yeti, whatever... it's not picky>
        } #End of New Field for current record
    else{$Value = $_} #If it didn't find the regex to determine if it is a new field then this is just more data from the last field, so don't change the field, just set it all as data.

    } else { #If it didn't find the regex then this is just more data from the last field, so don't change the field, just set it all as data.the field does not 'not exist') do this:
            $Event.$Field += if(![string]::isNullOrEmpty($Event.$Field)){"`r`n$_"}else{$_}} 

Это длинное объяснение довольно короткого фрагмента кода. На самом деле все, что он делает, это добавляет данные в поле! Это имеет инвертированную (с префиксом !) проверку If, чтобы увидеть, есть ли в текущем поле какие-либо данные, если они есть, или является ли оно в настоящее время Null или Empty. Если он пуст, он добавляет новую строку, а затем добавляет данные $Value. Если у него нет данных, он пропускает бит новой строки и просто добавляет данные.

    }
  }
}
$Records+=$Event #Adds the last event to the array of records.

Извините, я не очень хорошо разбираюсь в XML. Но, по крайней мере, это принесет вам чистые записи.

Редактировать: Хорошо, теперь код помечен, надеюсь, все объяснено достаточно хорошо. Если что-то все еще сбивает с толку, возможно, я могу направить вас на сайт, который объясняет лучше, чем я. Я проверил приведенное выше для вашего примера ввода в PasteBin.

Один из возможных способов работы с такими файлами — обрабатывать их построчно. Каждая запись в журнале начинается с временной метки и заканчивается, когда появляется следующая строка, начинающаяся с временной метки, поэтому вы можете сделать что-то вроде этого:

Get-Content 'C:\path\to\your.log' | % {
  if ($_ -match '^\d{4}/\d{2}/\d{2} \d{2}:\d{2}:\d{2}') {
    if ($logRecord) {
      # If a current log record exists, it is complete now, so it can be added
      # to your XML or whatever, e.g.:

      $logRecord -match '^(\d{4}/\d{2}/\d{2}) (\d{2}:\d{2}:\d{2}) (\S+) ...'

      $message = $xml.CreateElement('Message')

      $date = $xml.CreateElement('Date')
      $date.InnerText = $matches[1]
      $message.AppendChild($date)

      $time = $xml.CreateElement('Time')
      $time.InnerText = $matches[2]
      $message.AppendChild($time)

      $type = $xml.CreateElement('Type')
      $type.InnerText = $matches[3]
      $message.AppendChild($type)

      ...

      $xml.SelectSingleNode('...').AppendChild($message)
    }
    $logRecord = $_          # start new record
  } else {
    $logRecord += "`r`n$_"   # append to current record
  }
}