Инструменты для уменьшения больших файлов журналов

Я работаю с огромными файлами журнала - 1 ГБ или около того, в которых много пользовательских сеансов, в то время как меня интересует только один сеанс.

Обычно я могу сузить общую область файла, которая охватывает интересующий меня сеанс, просто выполнив поиск по идентификатору сеанса (занимает 2+ минуты). После этого я хочу удалить данные до и после событий, произошедших в пользовательском сеансе, чтобы ускорить мой последующий поиск (потому что теперь я сузил область интереса).

Мне нравится загружать огромные файлы журналов в Google Chrome и использовать функцию выделения при поиске, которая отображает интересующую область маркерами на полосе прокрутки, но на самом деле она не работает с файлами размером более 200 МБ и не позволяет мне удалять ненужные части. журналов, чтобы ускорить последующий поиск.

Думаю, это обычная проблема. Если я найду такой инструмент, я сэкономлю много времени.

Спасибо.


person Vladimir Ralev    schedule 09.02.2011    source источник


Ответы (2)


многие инструменты командной строки unix помогают в этом. В частности, grep позволяет находить строки, содержащие некоторую строку или шаблон (идентификатор сеанса). По умолчанию он возвращает строку, но я также могу вернуть n строк до или после.

person Jens Schauder    schedule 09.02.2011

Splunk - хороший инструмент для мониторинга и анализа журналов. Возможно, он охватывает немного больше вопросов, чем вам может понадобиться, но на него определенно стоит взглянуть. Доступна бесплатная лицензия, которая ограничена 500 МБ в день, и корпоративная лицензия, если вы хотите сделать все возможное (таблица сравнения лицензий).

person Victor Welling    schedule 09.02.2011