обработка текста из неплоского файла (для извлечения информации, как если бы это *был* плоский файл)

Вот что такое генераторы Python.

def read_as_flat( someFile ):
    line_iter= iter(someFile)
    time_header= None
    for line in line_iter:
        words = line.split()
        if words[0] == 'time':
            time_header = [ words[1:] ] # the "time" line
            description= line_iter.next()
            time_header.append( description )
        elif words[0] in subjectNameSet:
            data = line_iter.next()
            yield time_header + data

Вы можете использовать это как стандартный итератор Python

for time, description, var1, var2, var3 in read_as_flat( someFile ):
    etc.

Если все, что вам нужно, это var1, var2, var3 при сопоставлении с определенной темой, вы можете попробовать следующую команду:

  grep -A 1 'subjectB'

Аргумент командной строки -A 1 предписывает grep распечатать совпавшую строку и одну строку после совпадающей строки (и в этом случае переменные идут в строке после темы).

Возможно, вы захотите использовать параметр -E, чтобы выполнить поиск регулярного выражения в grep и привязать предметный поиск к началу строки (например, grep -A 1 -E '^subjectB').

Наконец, вывод теперь будет состоять из строки темы и строки переменной, которую вы хотите. Вы можете скрыть строку темы:

  grep -A 1 'subjectB' |grep -v 'subjectB'

И вы можете захотеть обработать переменную line:

  grep -A 1 'subjectB' |grep -v 'subjectB' |perl -pe 's/ /,/g'

Лучшим вариантом было бы модифицировать компьютерную симуляцию для получения прямоугольных выходных данных. Предполагая, что вы не можете этого сделать, вот один из подходов:

Для того, чтобы иметь возможность использовать данные в R, SQL и т. д., вам нужно так или иначе преобразовать их из иерархических в прямоугольные. Если у вас уже есть синтаксический анализатор, который может преобразовать весь файл в прямоугольный набор данных, вы уже прошли большую часть пути. Следующим шагом является добавление дополнительной гибкости вашему синтаксическому анализатору, чтобы он мог отфильтровывать нежелательные записи данных. Вместо конвертера файлов у вас будет утилита для извлечения данных.

Пример ниже написан на Perl, но вы можете сделать то же самое и на Python. Общая идея состоит в том, чтобы поддерживать четкое разделение между (а) синтаксическим анализом, (б) фильтрацией и (в) выводом. Таким образом, у вас есть гибкая среда, позволяющая легко добавлять различные методы фильтрации или вывода в зависимости от ваших непосредственных потребностей в обработке данных. Вы также можете настроить методы фильтрации для приема параметров (либо из командной строки, либо из файла конфигурации) для большей гибкости.

use strict;
use warnings;

read_file($ARGV[0], \&check_record);

sub read_file {
    my ($file_name, $check_record) = @_;
    open(my $file_handle, '<', $file_name) or die $!;
    # A data structure to hold an entire record.
    my $rec = {
        time => '',
        desc => '',
        subj => '',
        name => '',
        vars => [],
    };
    # A code reference to get the next line and do some cleanup.
    my $get_line = sub {
        my $line = <$file_handle>;
        return unless defined $line;
        chomp $line;
        $line =~ s/^\s+//;
        return $line;
    };
    # Start parsing the data file.
    while ( my $line = $get_line->() ){
        if ($line =~ /^time (\w+)/){
            $rec->{time} = $1;
            $rec->{desc} = $get_line->();
        }
        else {
            ($rec->{subj}, $rec->{name}) = $line =~ /(\w+) +(\w+)/;
            $rec->{vars} = [ split / +/, $get_line->() ];

            # OK, we have a complete record. Now invoke our filtering
            # code to decide whether to export record to rectangular format.
            $check_record->($rec);
        }
    }
}

sub check_record {
    my $rec = shift;
    # Just an illustration. You'll want to parameterize this, most likely.
    write_output($rec)
        if  $rec->{subj} eq 'subjectB'
        and $rec->{time} eq 't1'
    ;
}

sub write_output {
    my $rec = shift;
    print join("\t", 
        $rec->{time}, $rec->{subj}, $rec->{name},
        @{$rec->{vars}},
    ), "\n";
}

Если вы ленивы и у вас достаточно оперативной памяти, то я бы работал на RAM-диске вместо файловой системы, если они вам нужны немедленно.
Я не думаю, что Perl или awk будут быстрее, чем Python, если вы просто перекодирование вашего текущего алгоритма на другой язык.