Нейронные сети, обучаемые по методу имитации отжига.
Другие названия: ---.
В 50-е годы была разработана математическая модель отжига металла. Металл в процессе кристаллизации из жидкой фазы проходит через непрерывный ряд состояний, каждое из которых характеризуется эначением энергии. Атомы металла стремятся к состоянию минимума энергии - единому кристаллу. При высоких температурах атомы могут совершать движения, приводящие к переходу в состояния с большими значениями энергии. В процессе постепенного охлаждения металла возникают состояния со все более низкими значениями энергии.
Алгоритм отжига - вариант итеративного подхода к решению оптимизационных задач, в котором, как в физическом отжиге, разрешаются шаги, повышающие значения функции ошибки (энергии).
На основе этой математической модели в 80-е годы был создан алгоритм оптимизации, который наиболее активно применялся при решении задачи размещения микросхем на печатной плате. Этот алгоритм обладает высокой эффективностью и используется для обучения нейронных сетей.
Алгоритм отжига может быть использован для обучения как многослойных, так и полносвязных сетей. Что особенно важно - функции активации сети не обязательно должны быть непрерывно дифференцируемыми. В качестве функции ошибки можно использовать традиционное среднеквадратичное отклонение.
Существует две разновидности алгоритма отжига:
1. Градиентный алгоритм с изменением величины шага по правилу отжига. На каждой итерации вычисляется направление антиградиента адаптивного рельефа и делается шаг заданной величины. В процессе обучения величина шага уменьшается с увеличением номера итерации.
Большие значения шага на начальных итерациях обучения приводят к тому, что значение функции ошибки на некоторых итерациях может возрастать. В конце обучения величина шагов мала, значение функции ошибки уменьшается на каждой итерации.
2. Стохастический алгоритм. В процессе обучения совершаются шаги по адаптивному рельефу в случайных направлениях.
Пусть на итерации k система находится в точке S адаптивного рельефа, характеризующейся значением энергии E. Шаг из точки S в точку S' со значением энергии E' (E'>E), приводящий к увеличению значения функции ошибки (энергии) на величину (E'-E), допускается с вероятностью.
КРИТЕРИЙ ОСТАНОВА сети в процессе фунционирования зависит от структуры сети:
- функционирование многослойных сетей без обратных связей заканчивается после получения выходных сигналов нейронов последнего слоя,
- для сетей циклического функционирования (полносвязных, многослойных с обратными связями и т.д.) могут вводиться различные критерии останова: останов после K итераций, останов после того, как выходные сигналы перестанут меняться.
Критерием останова для процесса обучения может служить достижение некоторого заданного значения функции ошибки.
ТИПЫ ВХОДНЫХ И ВЫХОДНЫХ СИГНАЛОВ: любые.
РАЗМЕРНОСТИ ВХОДА И ВЫХОДА могут быть любыми, ограничения возникают в связи со скоростью обучения - алгоритм для сетей больших размерностей медленно сходится.
ЕМКОСТЬ СЕТИ: в общем случае не определена.
ТИП ПЕРЕДАТОЧНОЙ ФУНКЦИИ: любая, ограниченная по области значений.
КОЛИЧЕСТВО СИНАПСОВ И СМЕЩЕНИЙ СЕТИ ограничено скоростью обучения. Для сетей с числом синапсов порядка нескольких сотен алгоритм имитации отжига очень эффективен. Для программно реализованных на персональном компьютере сетей с десятками тысяч настраиваемых параметров процесс обучения по м тоду отжига длится катастрофич ски долго.
С помощью алгоритма отжига можно строить любые отображения XY, где X и Y - векторы некоторой размерности. К построению таких отображений сводятся многие задачи распознавания образов, адаптивного управления, многопараметрической идентификации, прогнозирования и диагностики.
Низкая скорость сходимости при обучениии нейронных сетей большой размерности.
"Тепловые флуктуации", заложенные в алгоритм дают возможность не задерживаться в локальных минимумах. Показано, что алгоритм отжига может быть использован для поиска глобального оптимума адаптивного рельефа нейронной сети.
Алгоритмы отжига различаются структурами нейронных сетей, для обучения которых они используются, а также правилами, в соответствии с которыми допускаются шаги, увеличивающие энергию системы.
Метод отжига использовался также для решения задач оптимизации с помощью нейронных сетей, в частности, задачи коммивояжера.
|
При использовании информации, находящейся на данной странице,
вы обязаны ссылаться на следующую работу:
Отчет по научно-исследовательской работе "Создание аналитического обзора информационных источников по применению нейронных сетей для задач газовой технологии"; Копосов А.И., Щербаков И.Б., Кисленко Н.А., Кисленко О.П., Варивода Ю.В. и др., ВНИИГАЗ, 1995. |