Участник:ADovganich/Нечеткий алгоритм С средних

Нечеткий алгоритм C средних

Авторы : Мария Проценко, Андрей Довганич

1 Свойства и структура алгоритмов

1.1 Общее описание алгоритма

Нечеткий алгоритм C-средних (fuzzy C-means) позволяет разбить имеющееся множество векторов (точек) мощностью p на заданное число нечетких множеств. Предназначен для кластеризации больших наборов данных. Основным достоинством алгоритма является нечеткость при определении объекта в кластер. Благодаря этому становится возможным определить объекты, которые находятся на границе, в кластеры. Из основного достоинства следует и главный недостаток - неопределенность с объектами, удаленными от центров всех кластеров. В остальном ему присущи стандартные проблемы подобного класса алгоритмов: вычислительная сложность, необходимость задания количества кластеров.

Алгоритм был разработан J.C. Dunn в 1973 г., усовершенствован J.C. Bezdek в 1981 г..

В общем виде алгоритм можно записать следующим образом:

1) Инициализировать матрицу принадлежности $M$ случайными значениями от 0 до 1;

2) Вычислить центры кластеров $c_{i} (i = 1,2,...c)$ используя формулу $(1)$;

$c_{i} = {{\sum_{k = 1}^{K}{m_{ik}^q} * u_{k}} \over {\sum_{k = 1}^{K}{m_{ik}^q}}}$, где $m_{ik}$ — коэффициент принадлежности $u_{k}$ вектора к кластеру $c_{i} (1)$.

3) Вычислить значение решающей функции по формуле $(2)$. Если значение ниже некоторого порогового или его улучшение по сравнению с предыдущей итерацией меньше определенной величины, то остановить вычисления;

$\begin{align} J(M, c_{1}, c_{2},...c_{c}) = \sum_{i = 1}^{c}{J_{i}} = \sum_{i = 1}^{c}\sum_{k = 1}^{K}{m_{ik}^q}d_{ik}^2 (2) \end{align}$

4) Иначе вычислить новые значения матрицы М по формуле $(3)$;

$m_{ik} = {1 \over \sum_{j = 1}^{c}{({{d_{ik}} \over {d_{jk}}})}^{2 \over q-1}}$

5) Перейти к шагу 2

1.2 Математическое описание алгоритма

Рассмотрим матрицу $M = m_{ik} \in[0,1],\; i = 1, ..., c, \; k = 1, ..., K$. $m_{i,k}$ - вероятность принадлежности объекта $k$ к кластеру $i$; $c$ - количество кластеров, $K$ - количество векторов. При этом элементы матрицы удовлетворяют следующим условиям:

- сумма элементов в каждом столбце равна $1$;

- сумма всех элементов матрицы равно $K$;

Назовем $M$ матрицей принадлежности.

Пусть $c_{i} (i = 1,2,...c)$ - центры кластеров. Тогда рассмотрим функцию $(2)$, где $d_{ik} = \left\Vert{u_{k}-c_{i}}\right\|$ - Евклидово расстояние между центром кластера и объектом, $1 \le q \le \infty$ - экспоненциальный весовой коэффициент, характеризующий нечеткость. Будем минимизировать значение функции $J$. $(1)$ и $(3)$ являются необходимым условие достижения минимума этой функцией. Таким образом эти два условия дают нам итерационный процесс, описанный выше.

1.3 Вычислительное ядро алгоритма

Вычислительным ядром алгоритма являются: $(1)$, $(2)$, $(3)$. В них производится вычисление новых центров кластеров, значения решающей функции и пересчет элементов матрицы принадлежности.

1.5 Схема реализации последовательного алгоритма

Пример реализации алгоритма на языке С++

    float ** m;
    int *c;
    int number_clusters, number_items;
    m = gen_random_clusters();//заполним матрицу m случайными значениями от 0 до 1
    
    while (true)
    {
      //вычисление центров кластеров
        for (int i=0; i<number_clusters; i++)
        {
            numerator==denumerator=0;
            for (int k=0; k<number_items; k++)
            {
                numerator+=pow(m[i, k], q)*u[k];//u[k]-вектор
                denumerator+=pow(m[i, k], q);
            }
        c[i]= numerator / denumerator;//центры кластеров
        }
    
        j=0;
        for (int i=0; i<number_clusters; i++)
            for (int k=0; k<number_items; k++)
                j+=pow(m[i, k], q)*pow(dist(c[i], x[k],2);//dist-вычисляет расстояние между заданными векторами
    
       if ((abs(j-last_j)<eps1) || (j<eps2)) break;
       last_j=j;
       for (int i=0; i<number_clusters; i++)
          for (int k=0; k<number_items; k++)
             {
               m[i,k]=0
              for(int j=0; j<number_clusters; j++)
                  m[i,k]=pow(dist(c[i], x[k]),2/(q-1));
                 m[i,k]=1/m[i,k];
              }
                                       
    }