Я испытываю странную утечку памяти в вычислительном приложении .NET для поиска изображений на основе содержимого (CBIR).
Концепция заключается в том, что существует класс обслуживания с циклом потока, который захватывает изображения из некоторого источника, а затем передает их в поток тегов изображений для аннотации.
Теги изображений запрашиваются из репозитория сервисным классом через определенные промежутки времени и сохраняются в кэше в памяти (словарь), чтобы избежать частых попаданий в базу данных.
Классы в проекте:
class Tag
{
public Guid Id { get; set; } // tag id
public string Name { get; set; } // tag name: e.g. 'sky','forest','road',...
public byte[] Jpeg { get; set; } // tag jpeg image patch sample
}
class IRepository
{
public IEnumerable<Tag> FindAll();
}
class Service
{
private IDictionary<Guid, Tag> Cache { get; set; } // to avoid frequent db reads
// image capture background worker (ICBW)
// image annotation background worker (IABW)
}
class Image
{
public byte[] Jpeg { get; set; }
public IEnumerable<Tag> Tags { get; set; }
}
Обработчик ICBW захватывает изображение в формате jpeg из некоторого источника изображения и передает его обработчику IABW для аннотации. IABW worker сначала пытается обновить Cache, если пришло время, а затем аннотирует изображение по некоторому алгоритму, создавая объект Image и прикрепляя к нему теги, а затем сохраняя его в хранилище аннотаций.
Фрагмент обновления кэша службы в рабочем процессе IABW:
IEnumerable<Tag> tags = repository.FindAll();
Cache.Clear();
tags.ForEach(t => Cache.Add(t.Id, t));
IABW вызывается много раз в секунду и довольно требователен к процессору.
Запустив его в течение нескольких дней, я обнаружил увеличение памяти в диспетчере задач. Используя Perfmon для отслеживания Process/Private Bytes и .NET Memory/Bytes во всех кучах, я обнаружил, что они со временем увеличиваются.
Поэкспериментировав с приложением, я обнаружил, что проблема заключается в обновлении кэша. Если он не обновляется, нет проблем с увеличением памяти. Но если обновление кеша происходит так часто, как раз в 1-5 минут, приложение довольно быстро освобождается от памяти.
В чем может быть причина утечки мемов? Довольно часто создаются объекты изображения, содержащие ссылки на объекты тегов в кэше. Я предполагаю, что когда создается словарь Cache, эти ссылки каким-то образом не собираются мусором в будущем.
Нужно ли явно обнулять управляемые объекты byte[], чтобы избежать утечки памяти, например. путем реализации тега, изображения как IDisposable?
Редактировать: 4 августа 2001 г., добавлен фрагмент кода с ошибками, вызывающий быструю утечку памяти.
static void Main(string[] args)
{
while (!Console.KeyAvailable)
{
IEnumerable<byte[]> data = CreateEnumeration(100);
PinEntries(data);
Thread.Sleep(900);
Console.Write(String.Format("gc mem: {0}\r", GC.GetTotalMemory(true)));
}
}
static IEnumerable<byte[]> CreateEnumeration(int size)
{
Random random = new Random();
IList<byte[]> data = new List<byte[]>();
for (int i = 0; i < size; i++)
{
byte[] vector = new byte[12345];
random.NextBytes(vector);
data.Add(vector);
}
return data;
}
static void PinEntries(IEnumerable<byte[]> data)
{
var handles = data.Select(d => GCHandle.Alloc(d, GCHandleType.Pinned));
var ptrs = handles.Select(h => h.AddrOfPinnedObject());
IntPtr[] dataPtrs = ptrs.ToArray();
Thread.Sleep(100); // unmanaged function call taking byte** data
handles.ToList().ForEach(h => h.Free());
}
