Участник:Anton goy/Самоорганизующиеся карты Кохонена: различия между версиями
Anton goy (обсуждение | вклад) |
Anton goy (обсуждение | вклад) |
||
| Строка 10: | Строка 10: | ||
Карты Кохонена и по своей архитектуре, и по методу обучения отличаются от обычных нейронных сетей прямого распространения. C точки зрения метода обучения карты Кохонена не используют градиентные методы для минимизации ошибки (как это делается в сетях прямого распространения), поскольку являются алгоритмом обучения без учителя и никак не могут учитывать информацию и метках классов. Поэтому нейронная сеть обучается через соревнование между нейронами: на каждом шаге алгоритма для случайного объекта из обучающей выборки выбирается нейрон-победитель (best matching unit, BMU), который в определенном смысле похож на данный объект. А архитектура карты Кохонена представляет два полносвязных слоя из нейронов: первый слой (будем называть его <math>l_1</math>) состоит из входных нейронов (их количество равно размерности исходного пространства), второй слой (<math>l_2</math>) представляет собой регулярную (прямоугольную или шестиугольную) решётку из нейронов. Размеры сетки выбираются вручную до начала запуска алгоритма. Таким образом каждый нейрон слоя <math>l_2</math> описывается двумя векторами: первый вектор - вектор весов <math>\mathbf{m}</math>, размерность которого совпадает с размерностью исходного пространства, а второй вектор <math>\mathbf{r}</math> определяет положение нейрона в регулярной сетке слоя <math>l_2</math>. Процесс обучения состоит в настройке векторов <math>\mathbf{m}</math>, а положение нейрона в решететке - вектор <math>\mathbf{r}</math> остается неизменым на протяжении всего обучения. | Карты Кохонена и по своей архитектуре, и по методу обучения отличаются от обычных нейронных сетей прямого распространения. C точки зрения метода обучения карты Кохонена не используют градиентные методы для минимизации ошибки (как это делается в сетях прямого распространения), поскольку являются алгоритмом обучения без учителя и никак не могут учитывать информацию и метках классов. Поэтому нейронная сеть обучается через соревнование между нейронами: на каждом шаге алгоритма для случайного объекта из обучающей выборки выбирается нейрон-победитель (best matching unit, BMU), который в определенном смысле похож на данный объект. А архитектура карты Кохонена представляет два полносвязных слоя из нейронов: первый слой (будем называть его <math>l_1</math>) состоит из входных нейронов (их количество равно размерности исходного пространства), второй слой (<math>l_2</math>) представляет собой регулярную (прямоугольную или шестиугольную) решётку из нейронов. Размеры сетки выбираются вручную до начала запуска алгоритма. Таким образом каждый нейрон слоя <math>l_2</math> описывается двумя векторами: первый вектор - вектор весов <math>\mathbf{m}</math>, размерность которого совпадает с размерностью исходного пространства, а второй вектор <math>\mathbf{r}</math> определяет положение нейрона в регулярной сетке слоя <math>l_2</math>. Процесс обучения состоит в настройке векторов <math>\mathbf{m}</math>, а положение нейрона в решететке - вектор <math>\mathbf{r}</math> остается неизменым на протяжении всего обучения. | ||
| + | |||
| + | == Математическое описание алгоритма == | ||
| + | |||
| + | Пусть <math>\left\{ \mathbf{x}_i \right\}_{i=1}^{N}</math> --- некоторое подмножество точек пространства <math>\mathbb{R}^D</math>, то есть <math>\mathbf{x}_i = \left( x_{i1}, \dots, x_{iD} \right) \in \mathbb{R}^D</math>. | ||
Версия 23:47, 19 сентября 2016
Автор: Гой Антон, 617 группа.
1 Свойства и структура алгоритмов
1.1 Общее описание алгоритма
Самоорганизующаяся карта Кохонена (англ. Self-Organizing Map или сокращено SOM) - это разновидность нейронных сетей, относящаяся к алгоритмам обучения без учителя. Основная цель - найти скрытые закономерности в данных по средством снижения размерности исходного пространства. Важным свойством карт Кохонена является то, что они строят отображение в пространство низкой размерности (обычно двумерное) таким образом, что топология исходного пространства сохраняется. Результат данного отображения - правильная решетка из обученных нейронов - называется "картой" исходного пространства. Алгоритм был разработан известным финским учёным, заслуженным академиком Финской Академии Наук Теуво Кохоненом в 1984(2) году. Карты Кохенана находят успешное применение в задачах кластеризации и визуализации, а также для снижения размерности и детектирования аномалий в данных.
Карты Кохонена и по своей архитектуре, и по методу обучения отличаются от обычных нейронных сетей прямого распространения. C точки зрения метода обучения карты Кохонена не используют градиентные методы для минимизации ошибки (как это делается в сетях прямого распространения), поскольку являются алгоритмом обучения без учителя и никак не могут учитывать информацию и метках классов. Поэтому нейронная сеть обучается через соревнование между нейронами: на каждом шаге алгоритма для случайного объекта из обучающей выборки выбирается нейрон-победитель (best matching unit, BMU), который в определенном смысле похож на данный объект. А архитектура карты Кохонена представляет два полносвязных слоя из нейронов: первый слой (будем называть его [math]l_1[/math]) состоит из входных нейронов (их количество равно размерности исходного пространства), второй слой ([math]l_2[/math]) представляет собой регулярную (прямоугольную или шестиугольную) решётку из нейронов. Размеры сетки выбираются вручную до начала запуска алгоритма. Таким образом каждый нейрон слоя [math]l_2[/math] описывается двумя векторами: первый вектор - вектор весов [math]\mathbf{m}[/math], размерность которого совпадает с размерностью исходного пространства, а второй вектор [math]\mathbf{r}[/math] определяет положение нейрона в регулярной сетке слоя [math]l_2[/math]. Процесс обучения состоит в настройке векторов [math]\mathbf{m}[/math], а положение нейрона в решететке - вектор [math]\mathbf{r}[/math] остается неизменым на протяжении всего обучения.
1.2 Математическое описание алгоритма
Пусть [math]\left\{ \mathbf{x}_i \right\}_{i=1}^{N}[/math] --- некоторое подмножество точек пространства [math]\mathbb{R}^D[/math], то есть [math]\mathbf{x}_i = \left( x_{i1}, \dots, x_{iD} \right) \in \mathbb{R}^D[/math].
