Схема полносвязной нейронной сети без скрытых нейронов представлена на рис. 1. В сети отсутствуют скрытые нейроны - внешний входной сигнал подается на входы всех нейронов сети, выходы всех нейронов образуют выходной сигнал сети. Сеть функционирует в течение нескольких тактов. В начальный момент времени выходы всех нейронов равны нулю. В процессе функционирования на входы нейронов подаются выходные сигналы предыдущего такта и внешние входные сигналы.
Рис. 1. Полносвязная нейронная сеть без
скрытых нейронов
Уравнения, которые описывают функционирование сети, имеют вид:
, (1)
(2)
где y - выход нейрона, m, i - номера нейронов,
M - число нейронов в сети, s - выход сумматора сети, j
- номер элемента входного сигнала, N - размерность входного сигнала,
x - элемент внешнего входного сигнала, w - синаптический
вес, v - вес латеральной связи (от выхода нейрона к входу одного
из нейронов), k - номер такта функционирования сети, K -
число тактов функционирования, b - смещение нейрона, 
- коэффициент затухания, например:
(3)
где 
- некоторая константа, f - непрерывно дифференцируемая монотонно
возрастающая функция, для которой f(0)=0, например
.
Поскольку все нейроны сети имеют одинаковые передаточные функции, сеть называется однородной.
Обучающая выборка имеет вид:
,
где 
и 
-
элемент входного и выходного сигнала соответственно, e - номер обучающего
примера (e=1,2,...,P), P - число обучающих примеров в выборке. На каждый
входной сигнал сеть должна выдать соответствующий выходной сигнал.
Если в необученную нейронную
сеть ввести входной сигнал одного из примеров обучающей выборки, то выходные
сигналы будут отличаться от требуемых, которые определены в обучающем примере.
Функция ошибки определяет степень близости выходных сигналов к требуемым
при решении всей совокупности примеров обучающей выборки:
(4)
где 
- номер нейрона на последнем
такте функционирования,
(5)
где 
и 
- номер нейрона и номер элемента входного сигнала на такте функционирования
k.
Перед началом обучения сеть инициализируется - синаптическим весам и смещениям присваиваются некоторые случайные значения из заданного диапазона.
На каждой итерации обучения выполняются модификации значений синаптических
весов и смещений, уменьшающие функцию ошибки:
, (6)
где t - номер итерации обучения, 
- шаг обучения;
; (7)
(8)
Введем дополнительные индексы: r - номер нейрона (r=1,2,...,M), n - номер синаптической связи (n=1,2,...,N).
Частные производные выходов сумматоров нейронов по синаптическим весам:
(9)
Введем обозначения:
(10)
Производная функции ошибки по синаптическому весу:
Используя (9), получаем:
Используя (9) и (10), получаем:
В результате получаем формулу для производной функции ошибки по синаптическому весу:
(11)
Частные производные выходов сумматоров нейронов по смещениям:
(12)
Производная функции ошибки по смещению:
Используя (12), получаем:
Используя (12) и (10), получаем:
В результате получаем формулу для производной функции ошибки по смещению:
(13)
Для вывода формулы производной функции ошибки по весам латеральных связей введем дополнительный индекс: h - номер нейрона (h=1,2,...,M).
Частные производные выходов сумматоров нейронов по весам латеральных связей:
(14)
Производная функции ошибки по весу латеральной связи:
Используя (14), получаем:
Используя (14) и (10), получаем:
В результате получаем формулу для производной функции ошибки по весу латеральной связи:
(15)
В общем случае число нейронов и размерность выходного сигнала в полносвязных нейронных сетях сети могут не совпадать, внешний входной сигнал может подаваться не на все нейроны сети. То есть в сети могут присутствовать скрытые нейроны, которые не имеют внешнего входного сигнала и (или) выходы которых не включаются в выходной сигнал всей сети.
Если всего нейронов в сети M и лишь на первые T из них подается внешний входной сигнал, можно считать
где N - размерность входного сигнала.
Если выходной сигнал сети включает в себя выходы не всех нейронов и, соответственно, не все выходы настраиваются в процессе обучения, то можно использовать следующую функцию ошибки
(4)
где L - число настраиваемых выходов (размерность
выходного сигнала обучающей выборки), 
.
Для обучения полносвязных сетей в общем случае можно использовать алгоритм для сетей без скрытых нейронов, применяя следующую обучающую выборку:
,
то есть M-L последних элементов выходного сигнала обучающей выборки совпадают с текущими выходами соответствующих нейронов на последнем такте функционирования.
|
При использовании информации, находящейся на данной странице,
вы обязаны ссылаться на следующую работу:
Отчет по научно-исследовательской работе "Создание аналитического обзора информационных источников по применению нейронных сетей для задач газовой технологии"; Копосов А.И., Щербаков И.Б., Кисленко Н.А., Кисленко О.П., Варивода Ю.В. и др., ВНИИГАЗ, 1995. |