искать регулярное выражение в большом файле, используя python

Если вам не нужны регулярные выражения, вы можете сделать это, просто найдя и нарезав.

В любом случае тривиальное решение состоит в том, чтобы прочитать весь файл в память, найти и разрезать результирующий объект str/bytes.

Но это не работает, если вы не можете (или не хотите) читать весь файл в память.

К счастью, если вы можете рассчитывать на то, что размер ваших файлов составляет ‹‹ 2 ГБ или вам нужно работать только на 64-разрядном Python, и вы работаете на разумной платформе (POSIX, современная Windows и т. д.), вы можете mmap файл в память вместо этого. Объект mmap имеет подмножество тех же методов, что и строки, поэтому вы можете просто представить, что у вас есть строка, как если бы вы прочитали весь файл в память, но вы можете рассчитывать на реализацию Python и ОС, чтобы сделать это. просто работать с разумной эффективностью.

В зависимости от вашей версии Python re может быть не в состоянии сканировать mmap, как если бы это была строка, он может работать, но медленно, или может работать нормально. Итак, вы можете сначала попробовать это, и если он не выдает исключение или работает намного медленнее, чем вы ожидали, все готово:

def findpaths(fname):
  with open(fname, 'rb') as f:
    m = mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ)
    for match in re.finditer(':path,([0-9]+)', m):
      yield m[match.end():match.end()+int(match.group(1))]

(Это то же самое, что и ответ BrtH, только с использованием mmap вместо строки и преобразованием в генератор вместо списка - хотя, конечно, вы могли бы сделать последнюю часть, просто заменив его квадратные скобки круглыми скобками.)

Если вы используете более старую (или не CPython?) версию Python, которая не может (эффективно) re и mmap, это немного сложнее:

def nextdigits(s, start):
  return ''.join(itertools.takewhile(str.isdigit,
                                     itertools.islice(s, start, None)))

def findpaths(fname):
  with open(fname, 'rb') as f:
    m = mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ)
    i = 0
    while True:
      n = m.find(':path', i)
      if n == -1: return
      countstr = nextdigits(m, n+6)
      count = int(countstr)
      n += 6 + len(countstr)
      yield m[n:n+count]
      i = n + 6 + count

Вероятно, это не самый быстрый способ написать функцию nextdigits. Я не уверен, что это действительно будет иметь значение (рассчитайте время и посмотрите), но если это произойдет, есть другие возможности — вырезать m[n+6:n+A_BIG_ENOUGH_NUMBER] и использовать регулярное выражение, или написать собственный цикл, или… С другой стороны, если это ваше узкое место, вы можете получить гораздо больше пользы, переключившись на интерпретатор с JIT (PyPy, Jython или IronPython)…

Для своих тестов я разделил вещи: findpaths принимает строковый объект, а вызывающая программа выполняет биты with open и mmap и просто передает m в findpaths; Я не делал этого здесь только для краткости.

Во всяком случае, я проверил обе версии на следующих данных:

BLAH:path,3abcBLAH:path,10abcdefghijklmnBLAH:path,3abc:path,0:path,3abc

И выход был:

abc
abcdefghij
abc

abc

Я думаю, это правильно?

Если бы моя более ранняя версия заставляла его вращаться на 100% ЦП, я бы предположил, что я неправильно увеличил i в цикле; это наиболее распространенная причина, по которой вы получаете такое поведение в узком цикле синтаксического анализа. В любом случае, если вы можете воспроизвести это с текущей версией, пожалуйста, опубликуйте данные.

Вы можете сделать это почти одной строкой в ​​python:

with open('filename.txt') as f:
    text = f.read()

results = [text[i[0]:i[0] + i[1]] for i in 
           ((m.end(), int(m.group(1))) for m in
            re.finditer(':path,([0-9]+)', text))]

Примечание: не проверено...