Участник:Sergey Ivanov/Генетические алгоритмы

Автор текущей версии статьи: Иванов Сергей, гр. 417, 2017-ый год

1 Структура алгоритма

1.1 Описание алгоритма

Генетический алгоритм - универсальный субоптимальный метод оптимизации $F(x) \rightarrow \mathop{max}_x$. Универсальность проявляется в его пригодности к задачам с произвольными функциями $F\colon \mathbb{X} \to \mathbb{R}$ и нетривиальной природой пространства аргументов $\mathbb{X}$.

От функции $F$ требуется только возможность вычислять её значение в произвольной точке. От пространства аргументов требуется наличие т.н. функции кроссинговера, т.е. функции $Crossover\colon \mathbb{X}\times \mathbb{X}\to \mathbb{X}$. Обычно для этого объекты пространства представляются в виде набора генов, т.е. по сути вещественных или бинарных векторов фиксированной (или даже меняющийся по ходу оптимизации) размерности. Функция кроссинговера обычно полагается независимой для каждого гена (то есть для каждого элемента последовательности): для бинарных генов с вероятностью 1/2 берётся ген первого аргумента, иначе второго; для вещественных генов $g_1, g_2$ результатом обычно полагается $\alpha g_1 + (1 - \alpha) g_2$, где $\alpha \sim Unifrom(0, 1)$

Такие слабые требования позволяют алгоритму работать в случаях, где традиционные методы непрерывной оптимизации неприменимы, таких как отбор признаков в задачах машинного обучения и задачи обучения с подкреплением.

Канонически использующаяся для описания алгоритма терминология взята из теории эволюции. Под "особью" в биологии понимают совокупность фенотипа и генотипа живого организма; с математической точки зрения, в рамках задачи оптимизации, можно положить, что генотипом является некоторая точка $x$, а фенотипом - значение в данной точке функции $F$. Основная идея алгоритма заключается в том, чтобы в рамках некоторой популяции, т.е. набора особей, отобрать лучшие по фенотипу особи, а затем построить новую популяцию на основе только лучших генотипов. Одна такая итерация называется эпохой. Соответственно, два основных параметра алгоритма - размер популяции, и число отбираемых ("выживающих") особей на каждой итерации.

1.2 Математическое описание алгоритма

Входные данные: функция $F\colon \mathbb{X} \to \mathbb{R}$

Параметры алгоритма: размер популяции $PopulationSize$, число выживающих особей на каждом этапе $SurvivalSize$, функция кроссинговера $Crossover\colon \mathbb{X}\times \mathbb{X}\to \mathbb{X}$, критерий останова. Опционально: функция мутации $Mutation\colon \mathbb{X}\to \mathbb{X}$, вероятность мутации $\epsilon$.

Выходные данные: субоптимальный экстремум $x*$

Инициализация: $Population_0 := PopulationSize$ случайных объектов из $\mathbb{X}$

До выполнения критерия останова:

• вычислить $F(x)$ для всех $x$ из $Population_i$
• оставить топ-$SurvivalSize$ особей из $Population_i$
• составить $Population_{i+1}$: каждая новая особь есть результат применения $Crossover$ к двум случайным выжившим особям
• при наличии мутаций к каждой особи с вероятностью $\epsilon$ применить функцию $Mutation$

На выход алгоритм подаётся $\mathop{argmax}_{x \in Population_{last}} F(x)$

1.3 Возможные вариации

Стоит отдельно отметить, что алгоритм допускает бесчисленное количество вариаций, и редко применяется в исходной форме. Модификациям можно подвергнуть практически любой этап алгоритма без существенного изменения идеи процесса. Большинство модификаций призвано бороться с главным недостатком алгоритма - отсутствием вариативности, вызванной похожестью результата операции кроссинговера на свои операнды. Ниже перечислены некоторые из возможных модификаций:

• битвы на выживание: на этапе отбора выбирать две случайные особи и устраивать между ними "сражение", в котором одна из них "погибает" (удаляется из популяции). Сражение может проходить по принципу "побеждает сильнейший", или стохастически, с вероятностью победы пропорциональной силе особи, где сила - значение функции $F$.
• острова: запускать генетический поиск для нескольких независимо сэмплированных популяций и допускать редкие обмены генотипами между ними. Нестрого говоря, это позволяет найти несколько локальных максимумов, и проверить, нет ли лучших вариантов между ними.
• старение: оставлять топ-k особей популяции неизменными для следующего поколения; удалять их, если их "возраст" превысил определённый порог.