СРАВНИТЕЛЬНЫЙ АНАЛИЗ АЛГОРИТМОВ ОБУЧЕНИЯ

При реализации алгоритмов обучения на персональном компьютере необходимо учитывать две характеристики:

1. Объем оперативной памяти, который требуется для размещения вспомогательных переменных алгоритма.
2. Время обучения, то есть число итераций обучения, умноженное на время выполнения одной итерации.

Далее представлено описание и проведен сравнительный анализ алгоритмов обучения, которые при реализации на персональном компьютере требуют строго меньше 2*N вспомогательных переменных, где N - это число параметров сети, настраиваемых в процессе обучения (синаптических весов и смещений). Это следующие алгоритмы:

1. обобщенный градиентный алгоритм обучения,
2. градиентный алгоритм обучения с автоматическим определением длины шага (автономный градиентный алгоритм обучения),
3. алгоритм поиска в случайном направлении,
4. градиентный алгоритм обучения с одномерной оптимизацией,
5. градиентный алгоритм обучения с одномерной оптимизацией и с автоматическим определением длины шага.

В обобщенном градиентном алгоритме на каждой итерации выполняется вычисление градиента функции ошибки (определяются значения частных производных по синаптическим весам и смещениям) и делается шаг в направлении антиградиента. Величина шага задается пользователем.

Обобщенный градиентный алгоритм обучения в отличие от традиционного метода обратного распространения ошибки дает возможность обучать многослойные сети с произвольным числом слоев. Использование двойственных переменных ускоряет процесс обучения.

Градиентный алгоритм с автоматическим определением длины шага определяется следующим набором параметров:

• начальное значение шага,
• количество итераций, через которое происходит запоминание данных сети (синаптических весов и смещений),
• величина (в процентах) увеличения шага после запоминания данных сети, и величина уменьшения шага в случае увеличения функции ошибки.

В начале обучения с помощью автономного градиентного алгоритма записываются на диск значения весов и смещений сети. Затем происходит заданное число итераций обучения с заданным шагом. Если после завершения этих итераций значение функции ошибки не возросло, то шаг обучения увеличивается на заданную величину, а текущие значения весов и смещений записываются на диск. Если на некоторой итерации произошло увеличение функции ошибки, то с диска считываются последние запомненные значения весов и смещений, а шаг обучения уменьшается на заданную величину.

При использовании автономного градиентного алгоритма происходит автоматический подбор длины шага обучения в соответствии с характеристиками адаптивного рельефа.

Замечено, что в начале обучения шаг должен быть порядка 0.1, а в конце обучения - от 10⁵ до 10⁶. Автономный алгоритм по сравнению с обобщенным градиентным алгоритмом имеет преимущество в том, что шаг обучения автоматически увеличивается, подстраиваясь под адаптивный рельеф. Тем самым существенно сокращается количество шагов, которое требуется для обучения сети.

В алгоритмах с одномерной оптимизацией на каждом шаге обучения выполняется два пробных шага: один в направлении антиградиента, другой - в противоположном направлении. По трем точкам (включая исходную точку итерации) строится парабола. Для параболы с лучами, направленными вверх, шаг делается в вершину параболы. Если лучи параболы направлены вниз, то выполняется шаг в сторону антиградиента на заданную величину. Таким образом, а этих алгоритмах адаптивный рельеф вдоль антиградиента функции ошибки аппроксимируется параболой.

В программной реализации алгоритма с одномерной оптимизацией исключено увеличение значения функции ошибки. Значения этой функции запоминаются для четырех точек (исходная точка, два пробных шага и минимум параболы). Шаг делается в точку с минимальным значением функции ошибки.

В алгоритме с одномерной оптимизацией и автоматическим определением длины шага выполняются действия, аналогичные автономному градиентному алгоритму. Величина пробных шагов подбирается под адаптивный рельеф. Данный способ исключения шагов с увеличением функции ошибки позволяет уменьшить количество вычислений на каждом шаге алгоритма.

В алгоритме поиска в случайном направлении на каждой итерации делается шаг, направление которого задается случайным образом. Если данный шаг приводит к увеличению функции ошибки, то происходит возврат к исходным значениям синаптических весов и смещений и выполняется шаг в другом случайном направлении.

Компьютерные эксперименты по обучению нейронных сетей показали, что наибольшей скоростью сходимости среди всех описанных алгоритмов обладает автономный градиентный алгоритм.

На рисунках 1 - 8 представлены графики функции ошибки алгоритмов обучения нейронных сетей с различными значениями параметров.

Графики 1 и 2 показывают, что обобщенный градиентный алгоритм очень чувствителен к значению шага. Так при величине шага 0.2 алгоритм не сходится. После первых семидесяти шагов обучения, функция ошибки перестает уменьшаться, хотя сеть еще не приобрела способность правильно распознавать хотя бы один образ из обучающей выборки. График показывает, что на нескольких итерациях обучения функция ошибки резко возрастала. При шаге 0.1 процесс обучения стабильно сходится к локальному минимуму функции ошибки. Оказавшись в этом локальном минимуме, сеть приобретает способность распознавать все образы из обучающей выборки.

Графики 3 и 4 демонстрируют работу градиентного алгоритма с автоматическим определением длины шага (автономного градиентного алгоритма). На графиках видны характерные пилообразные участки с уменьшающейся высотой пиков. Эти участки соответствуют процессу подстройки длины шага алгоритма обучения под характеристики адаптивного рельефа.

Хотя автономный градиентный алгоритм дает возможность подбирать значение шага под адаптивный рельеф в локальной области, скорость сходимости зависит от параметров алгоритма. Так при обучении двухслойной сети распознаванию изображений букв наибольшая скорость сходимости достигается при начальном зачении шага 0.1, запоминание производися через 10 шагов, изменение шага 10%.

Следующая пара графиков (рис. 5 и 6) показывает функцию ошибки алгоритма поиска в случайном направлении. По сравнению с другими алгоритмами обучения, этот алгоритм обладает наименьшей скоростью сходимости. Для того, чтобы сделать шаг по адаптивному рельефу в соответствии с алгоритмом поиска в случайном направлении, уменьшающий функцию ошибки, необходимо совершить множество пробных шагов. Скорость сходимости зависит от величины шага. В экспериментах наибольшая скорость сходимости достигалась при шаге 0.1.

Из всех исследованных алгоритмов обучения градиентные алгоритмы с одномерной оптимизацией сходятся к локальному минимуму за наименьшее число шагов. Однако на каждом шаге выполняется большой объем вычислений. Графики функций ошибки представлены на рисунках 7 и 8. Использование методики автоматического определения длины шага, аналогичной автономному градиентному алгоритму, позволяет увеличить скорость сходимости.

В таблице представлены характеристики описанных алгоритмов:

• время выполнения одного шага на компьютере IBM 486DX2 VESA 66МГц,
• количество шагов, которое потребовалось для решения контрольной задачи - обучения нейронной сети распознаванию 26 букв латинского алфавита - (входной сигнал сети 8x8 пикселей, 64 нейрона в первом слое, 26 нейронов во втором слое),
• коэффициент, характеризующий объем вычислений при решении контрольной задачи.

Таблица показывает, что наиболее эффективным является автономный градиентный алгоритм.

Анализируя данные таблицы, можно сделать следующие выводы:

1. Стохастические методы не могут быть использованы для обучения нейронных сетей большой размерности. Даже метод поиска в случайном направлении, который требует для обучения меньше шагов, чем другие стохастические методы, сходился катастрофически медленно.
2. Градиентный алгоритм с одномерной оптимизацией потребовал для обучения сети меньше итераций, чем обобщенный и градиентный алгоритмы. Однако большой объем вычислений на каждой итерации привел к тому, что этот алгоритм имеет меньшую эффективность по сравнению с алгоритмами, которые не используют одномерную оптимизацию. Дальнейшее повышение размерности оптимизации градиентных алгоритмов (использование, например, алгоритмов с двумерной оптимизацией) не представляется эффективным.

Таблица

Сравнение алгоритмов обучения

При использовании информации, находящейся на данной странице, вы обязаны ссылаться на следующую работу: Отчет по научно-исследовательской работе "Создание аналитического обзора информационных источников по применению нейронных сетей для задач газовой технологии"; Копосов А.И., Щербаков И.Б., Кисленко Н.А., Кисленко О.П., Варивода Ю.В. и др., ВНИИГАЗ, 1995.