,
Нейронной сети в ходе обучения предъявляются примеры и их решение оценивается. По результатам оценки делается шаг, меняются параметры. Обучающий пример - пара <вход; известный выход> - имеет вид:
,
где 
и 
-
элемент входного и выходного сигнала, i0=1,2,...,N0,
iL=1,2,...,NL, L - число слоев, e - номер обучающего
примера в выборке, e=1,2,...,P, P - число обучающих примеров в выборке.
На каждый входной сигнал сеть должна выдать соответствующий выходной сигнал.
Если в необученную многослойную
нейронную сеть с последовательными связями ввести входной сигнал одного
из примеров обучающей выборки:
(1)
(2)
(3)
то выходные сигналы будут отличаться от требуемых, которые определены в обучающем примере.
В формулах: y - выходной сигнал нейрона (внешний входной сигнал считается выходом вырожденных нейронов нулевого слоя), w - синаптический вес, s - выход сумматора, b - смещение, f - передаточная функция, i - номер нейрона, m - номер слоя.
Функция ошибки определяет степень близости выходных сигналов к требуемым при решении всей совокупности примеров обучающей выборки:
(4)
На каждой итерации вычисляется градиент функции ошибки в адаптивном
пространстве сети и делается шаг по адаптивному рельефу в направлении,
противоположном градиенту. Размерность адаптивного пространства сети на
единицу больше числа параметров, настраиваемых в процессе обучения:
(5)
По осям координат в адаптивном пространстве откладываются значения функции ошибки, синаптических весов и смещений сети.
Адаптивный рельеф - это поверхность в адаптивном пространстве, каждая точка которой имеет вид :
,
где 
и 
- матрица весовых коэффициентов и столбец m-го слоя.
Задача минимизации функции ошибки сводится к поиску минимума на адаптивном рельефе. Итерации алгоритма могут быть описаны следующими формулами:
,
(6)
,
(7)
(8)
;
(9)
,
(10)
В этих формулах : t - номер итерации алгоритма обучения. В формулах (8) и (9) определены двойственные переменные.
Рассмотрим настройку однопараметрической передаточной функции типа рациональная сигмоида:
(11)
Для настройки параметров 
передаточных функций на каждой итерации обучения выполняются следующие
вычисления:
,
(12)
(13)
;
(14)
где
,
(15)
В процессе обучения значение параметра 
не должно выходить за пределы допустимого диапазона:
.
|
При использовании информации, находящейся на данной странице,
вы обязаны ссылаться на следующую работу:
Отчет по научно-исследовательской работе "Создание аналитического обзора информационных источников по применению нейронных сетей для задач газовой технологии"; Копосов А.И., Щербаков И.Б., Кисленко Н.А., Кисленко О.П., Варивода Ю.В. и др., ВНИИГАЗ, 1995. |