Я работаю над какой-то системной службой (на самом деле это просто парсер логов), написанной на Python. Эта программа должна работать непрерывно в течение длительного времени (надеюсь, я имею в виду дни и недели без сбоев и необходимости перезапуска). Вот почему меня беспокоит потребление памяти.
Я собрал разную информацию об использовании памяти процессами с разных сайтов в одну простую функцию:
#!/usr/bin/env python
from pprint import pprint
from guppy import hpy
from datetime import datetime
import sys
import os
import resource
import re
def debug_memory_leak():
#Getting virtual memory size
pid = os.getpid()
with open(os.path.join("/proc", str(pid), "status")) as f:
lines = f.readlines()
_vmsize = [l for l in lines if l.startswith("VmSize")][0]
vmsize = int(_vmsize.split()[1])
#Getting physical memory size
pmsize = resource.getrusage(resource.RUSAGE_SELF).ru_maxrss
#Analyzing the dynamical memory segment - total number of objects in memory and heap size
h = hpy().heap()
if __debug__:
print str(h)
m = re.match(
"Partition of a set of ([0-9]+) objects. Total size = ([0-9]+) bytes(.*)", str(h))
objects = m.group(1)
heap = int(m.group(2))/1024 #to Kb
current_time = datetime.now().strftime("%H:%M:%S")
data = (current_time, objects, heap, pmsize, vmsize)
print("\t".join([str(d) for d in data]))
Эта функция использовалась для изучения динамики потребления памяти моим долгоиграющим процессом, и я до сих пор не могу объяснить ее поведение. Вы можете видеть, что размер кучи и общее количество объектов не изменились, в то время как физическая и виртуальная память увеличились на 11% и 1% за эти двадцать минут.
UPD: К настоящему моменту процесс длится почти 15 часов. Куча осталась прежней, но физическая память увеличилась в шесть раз, а виртуальная память увеличилась на 50%. Кривая кажется линейной, за исключением странных выбросов в 3:00:
Time Obj Heap PhM ВМ
19:04:19 31424 3928 5460 143732
19:04:29 30582 3704 10276 158240
19:04:39 30582 3704 10372 157772
19:04:50 30582 3709 10372 157772
19:05:00 30582 3704 10372 157772
(...)
19:25:00 30583 3704 11524 159900
09:53:23 30581 3704 62380 210756
Интересно, что происходит с адресным пространством моего процесса. Постоянный размер кучи предполагает, что все динамические объекты освобождены правильно. Но я не сомневаюсь, что растущее потребление памяти повлияет на устойчивость этого жизненно важного процесса в долгосрочной перспективе.
Может ли кто-нибудь прояснить этот вопрос? Спасибо.
(Я использую RHEL 6.4, ядро 2.6.32-358 с Python 2.6.6)
