Почему для генетических алгоритмов требуется больше памяти, чем для других методов машинного обучения?

Генетические алгоритмы имитируют процесс естественного отбора, чтобы «развить» решение сложной задачи оптимизации. Как правило, алгоритм работает, сначала генерируя несколько случайных «индивидуумов» (то есть решений проблемы, которую вы пытаетесь решить) и вычисляя их «пригодность» с помощью функции пригодности. Затем отбираются более приспособленные особи, чтобы выжить и, возможно, обменяться «ДНК» посредством «размножения», чтобы произвести следующее поколение особей. Затем этот процесс повторяется до тех пор, пока не будет достигнуто условие остановки, которым может быть достигнут достаточный уровень приспособленности или достигнуто максимальное количество поколений. Фитнес-функции обычно являются очень сложными функциями, поскольку они должны обрабатывать все «черты» человека и выводить фитнес (возможно, в виде скаляра). Для многих задач это невозможно с точки зрения алгоритмической сложности, поэтому вместо этого используется аппроксимация пригодности. В любом случае итеративный характер ГА, сложность функции пригодности и тот факт, что в любой момент времени в оперативной памяти представлено большое количество людей, делают алгоритм требовательным.

Другие методы, такие как имитация отжига, требуют меньше ресурсов как во времени, так и в памяти. В конкретном случае имитации отжига вы работаете только с элементом, используя мутацию в качестве уникального оператора. Для SA память не проблема, нормально. Время расчета обусловлено, очевидно, характером задачи.

GA более гибок, но SA — это хорошая техника, которая отлично работает для многих проблем с использованием ограниченных ресурсов.

Основная причина, по которой генетическим алгоритмам требуется больше памяти, заключается в том, что им необходимо поддерживать всю популяцию решений. Другие методы поиска, такие как восхождение на холм, поиск табу, поиск луча и имитация отжига, имеют дело только с одним решением за раз. Так, если, например, для представления решения требуется мегабайт ОЗУ, ГА с размером совокупности 100 потребует 100 мегабайт ОЗУ для представления своей совокупности решений.

Как упомянул Трекер, тот факт, что вам также часто нужно оценивать все решения в совокупности, может добавить дополнительные затраты памяти.