В этой главе разберем, из каких блоков строятся АП-структу-ры, дадим более точное описание этих блоков и основных принципов их функционирования.
2.1.Предпосылки к разработке АП-структур
Большинство существующих систем искусственного интеллекта имеют один общий недостаток - любая процедура распознавания (классификации) завершается приписыванием объекту имени класса, к которому он относится, и в дальнейшем система оперирует с этим именем, оторванным от конкретных признаков распознанного объек-та. Это приводит к тому, что объекты, отнесенные к одному клас-су, в дальнейшем рассматриваются как идентичные, хотя на самом деле они могут иметь различия, а объекты, отнесенные к разным классам, считаются совершенно различными, не имеющими никакого сходства, хотя во многих случаях два пограничных объекта, отне-сенные к разным классам, могут быть больше похожими друг на дру-га, чем некоторые объекты одного и того же класса. Нет необходи-мости доказывать и то, что может существовать неисчислимое коли-чество различных классификаций в зависимости от положенных в их основу критериев.
Чтобы как-то преодолеть жесткость классификационных границ, восстановить утраченные при классификации сведения о сходстве объектов в искусственном интеллекте, предлагаются самые различ-ные методы. Это и семантические сети, устанавливающие отношения между объектами, и фреймы, позволяющие разыскать и восстановить признаки объекта по его имени, и метрические семантические прост-ранства, и многие другие. Характерной особенностью этих методов является попытка вернуть именам объектов какие-то свойства самих объектов, которые были полностью утрачены в процессе распознава-ния или классификации. Платой за эту попытку как правило являет ся резкое увеличение ресурсных требований и особенно требований к быстродействию вычислительных средств.
Мы предлагаем другой подход к созданию систем искусственно-го интеллекта: в процессе распознавания или классификации объек-ту также может присваиваться имя, но при этом признаки не теря-ются, а присвоенное имя рассматривается как еще один, новый признак этого объекта. Предлагаемый подход базируется на уни-кальных свойствах нейронного ансамбля, позволяющих работать с ним как с единым целым, но при необходимости дробить его и фор-мировать из отдельных частей более сложные структуры.
Нейронным ансамблем. [5] называют подмножество нейронов, связанных взаимными возбуждающими связями. Это подмножество дол-жно быть таким, что при внешнем возбуждении его части автомати-чески возбуждается весь ансамбль.
Мы предлагаем использовать нейронные ансамбли на всех ие-рархических уровнях обработки информации, начиная от кодирования входных признаков или имен объектов и кончая самыми высокими уровнями описания сцен, ситуаций, принятия решений и планирова-ния действий. Мы намерены использовать нейронные ансамбли для представления отношений между объектами, для отображения после-довательностей событий, для логического вывода и т.д.
Чтобы сделать это возможным, разработан новый тип организа-ции нейросетей - АП-структуры. В их основу АП-структур положено представление о том, что вся нейронная сеть состоит из отдельных нейронных полей (рис.2.1) и ассоциативные связи между нейронами образуются только в пределах каждого ассоциативного нейронного поля. Между собой нейронные поля связаны проективными связями. Смысл этих связей заключается в том, что они передают картину возбуждения нейронов из одного поля в другое. В связи с этим мы будем считать, что в каждом нейронном поле содержится одинаковое количество n нейронов.
o-----o +-------------+
╕\ /╕\ ╕ ╕
╕ \ / ╕ \ AF2 ╕ AF2 ╕
╕ o-----o +-------------+
╕ ╕ ╕ ╕ ╕ ╕
╕ ╕ ╕ ╕ ╕ ╕
╕ ╕ ╕ ╕ ╕ ╕
╕ ╕ ╕ ╕ ╕ ╕
o--╕--o ╕ +-------------+
\ ╕ / \ ╕ ╕ ╕
\╕/ \╕ AF1 ╕ AF1 ╕
o-----o +-------------+
а б
Рис.2.1. АП-структура: а - пример структуры;
б - графическое обозначение структуры
Проективные связи устанавливают взаимно-однозначное соот-ветствие между нейронами двух полей и обладают свойством прину-дительного возбуждения тех нейронов, на которые по ним подаются сигналы. Проективные связи не изменяются при обучении сети. Как правило, они находятся в заблокированном состоянии и передают сигналы только тогда, когда на них поступает сигнал разрешения. Этот сигнал поступает одновременно на все проективные связи, идущие от одного поля к другому.
Проективные связи могут быть и тормозящими. К ним относится все сказанное выше, за исключением того, что они обладают свойс-твом принудительного торможения, а не возбуждения нейронов.
В отличии от проективных ассоциативные связи предназначены для формирования ансамблей внутри ассоциативных нейронных полей. Веса этих связей изменяются при обучении. В дальнейшем мы опишем правило изменения весов, немного отличающееся от Хеббовского, а в этом разделе будем пользоваться Хеббовским правилом:
--
\ (2.1)
W ij = / Vi s. Vjs ,
--
s
где W ij - вес связи между нейроном i и нейроном j, Vis, Vjs - выходные сигналы i-го и j-го нейронов при S-м предъявлении обу-чающего образа; Vsi, Vsj= (0,1).
При передаче сигналов через ассоциативные связи будем счи-
тать, что выходной сигнал нейрона определяется по формуле
n
--
\
1, если Wij *Vj > O(t) ,
/
--
j=1
Vi = (2.2)
n
--
\
0, если W ij * Vj < O(t) ,
/
--
j=1
где О - порог, одинаковый для всех нейронов одного поля в момент времени t; n - количество нейронов в нейронном поле.
Поскольку внутри ассоциативного поля все связи возбуждаю-щие, трудно заранее выбрать подходящее значение порога О для обеспечения устойчивой работы сети. Поэтому в каждое ассоциатив-ное поле вводится регулятор, который управляет порогом О(t) та-ким образом, чтобы суммарное количество активных нейронов в лю-бое время сохранялось примерно постоянным:
n
--
\
Vi = m . (2.3)
/ i
--
i=1
Назовем величину m в выражении (2.3) размером нейронного ансамбля. Важно, чтобы он был намного меньшим, чем размер ассо-циативного поля (m << n).
Рассмотрим процесс формирования ансамблей-признаков в ассо-циативном нейронном поле нижнего уровня. При этом будем считать, что входные признаки F = (f1, f2 , ... , fm ) носят качественный характер (признаки могут только присутствовать или отсутство-вать) и не имеют числового выражения.
Для ввода информации в сеть
рассмотрим кодирующее устройст-во CU (рис.2.2). Оно
имеет k входов (по одному для каждого приз-нака) и n
выходов, которые по сути дела представляют собой
про-ективные возбуждающие связи , идущие от
кодирующего устройства CU к ассоциативному полю
признаков AF1. В памяти кодирующего ус-тройства
хранится k двоичных векторов, имеющих по n
разрядов. При поступлении на вход i-го признака на
выходах кодирующего ус-тройства появляется i-й
двоичный вектор, который мы будем назы-вать
маской i-го признака. Единичные составляющие
маски i-го признака приведут к принудительному
возбуждению соответствующих им нейронов. Если
при этом применить правило обучения (2.1), то в
ассоциативном поле AF1, будет сформирован
ансамбль, соответст-вующий i-му признаку. Всякий
раз, когда кодирующее устройство будет вновь
кодировать этот признак, сформированный
ансамбль бу-дет возбуждаться.
+-----------+ +-----------------------+
f1--->╕ ╕ ╕ AF1 +----+ ╕
f2--->╕ CU ╕----> ╕ +----+╕ f2 ╕ +----+ ╕
... ╕ ╕ ╕ ╕ f1 ╕ +----+ ╕ fk ╕ ╕
fk--->╕ ╕ ╕ +----+ +----+ ╕
+-----------+ +-----------------------+
Рис.2.2. Кодирование входных признаков нейронными ансамб-
лями
Теперь рассмотрим, как в АП-структуре можно представить описание объекта, в которое входит несколько признаков. Пусть это будут признаки f1, f2 , f3 . Будем считать, что устройство CU кодирует их последовательно и в ассоциативном поле AF1 последо-вательно возбуждаются соответствующие ансамбли (рис.2.3).
+----------------------+ +----------------------+
╕ AF1 +---+ ╕ ╕ BF +---+ ╕
╕ ╕f1 ╕ ╕ ╕ ╕f1 ╕ ╕
--->╕ ╕ ╕ ╕----->╕ ╕ ╕ ╕
╕ ╕ ╕ ╕ ╕ ╕ ╕ ╕
╕ +---+ ╕ ╕ +---+ ╕
+----------------------+ +----------------------+
а
+----------------------+ +----------------------+
╕ AF1 +----------+ ╕ ╕ BF +-------------+ ╕
╕ ╕ f2 ╕ ╕ ╕ ╕f1 ╕ f2 ╕ ╕
--->╕ +----------+ ╕---->╕ ╕ +---------+ ╕
╕ ╕ ╕ ╕ ╕ ╕
╕ ╕ ╕ +---+ ╕
+----------------------+ +---------------------- +
б
+----------------------+ +----------------------+
╕ AF1 ╕ ╕ BF +-------------+ ╕
╕ ╕ ╕ ╕f1 ╕ f2 ╕ ╕
--->╕ +----------+ ╕---->╕ ╕ +---------╕ ╕
╕ ╕ f3 ╕ ╕ ╕ ╕ ╕ f3 ╕ ╕
╕ +----------+ ╕ ╕ +-------------+ ╕
+----------------------+ +----------------------+
в
+----------------------+ +----------------------+
╕ AF1 ╕ ╕ BF+-------------+ ╕
╕ ╕ ╕ ╕f1+╕+++f2 ╕ ╕
--->╕ ╕---->╕ ╕ ++---------╕ ╕
╕ ╕ ╕ ╕ +╕+++f3 ╕ ╕
╕ ╕ ╕ +-------------+ ╕
+----------------------+ +----------------------+
г
Рис.2.3. Последовательный ввод признаков и выбор нейро-
нов-представителей для формирования ансамбля
верхнего уровня
Здесь мы введем еще один тип нейронных полей - буферное нейронное поле (BF). Подробное описание его будет дано ниже, а сейчас отметим,что одна из функций BF - накапливать и некоторое время хранить возбужденные нейронные ансамбли. В данном случае возбуждение всех ансамблей-признаков сохраняется до формирования (или распознавания) ансамбля-описания объекта (или просто ансам-бля-объекта). Для того чтобы сформировать ансамбль-объект О (рис.2.4), надо передать по проективным связям возбуждение ней-ронов буферного поля BF в другое ассоциативное поле AF2 где и будет сформирован ансамбль О. Однако сразу после ввода ансамб-лей-признаков сделать это нельзя, поскольку размеры ансамбля-об-ъекта будут намного превышать размеры ансамблей-признаков. Если мы потом аналогичным образом из объектов начнем формировать ан-самбли более высоких уровней, то получим экспоненциальный рост размеров ансамблей при переходе к высшим уровням иерархии.
+----------------------+
╕ AF2 O ╕
╕ + +++ ╕
╕ + ╕<----------------+
╕ + +++ ╕ ╕
╕ ╕ ╕
+----------------------+ ╕
╕
╕
+----------------------+ +----------------------+
╕ AF1 ╕ ╕ BF +-------------+╕
╕ ╕ ╕ ╕f1+╕+++f2 ╕ ╕
--->╕ ╕---->╕ ╕ ++---------╕ ╕
╕ ╕ ╕ ╕ +╕+++f3 ╕ ╕
╕ ╕ ╕ +-------------+ ╕
+----------------------+ +----------------------+
Для того чтобы избежать роста размеров, каждый признак для формирования ансамбля-объекта должен "выделить" только часть своих нейронов-представителей. Из них формируется ансамбль-объ-ект О, размер которого примерно равен размеру каждого признака (рис.2.4). Процедура выбора нейронов представителей называется нормированием. Подробнее она будет описана позже.
Рассмотрим процесс распознавания и расшифровки ансамбля-об-ъекта О. Пусть на вход поля AF1 последовательно подаются признаки f1 и f2 , принадлежащие объекту, и какой-либо посторонний признак fq. В буферном поле после нормирования окажутся представители всех этих признаков. После передачи возбуждения по проективным связям в поле AF2 представители f1 и f2 возбудят часть нейронов ансамбля О, а fq - нейроны, ему не принадлежащие. По внутриан-самблевым возбуждающим связям все остальные нейроны ансамбля О также получат возбуждение, но регулятор активности не допускает одновременного возбуждения нейронов в количестве, превышающем размер ансамбля m. Поэтому в поле AF2 начнется конкуренция ней-ронов за возбуждение, в результате которой все нейроны, принад-лежащие ансамблю О, окажутся возбужденными, а не принадлежащие - невозбужденными. Мы называем процесс восстановления ансамбля по его части распознаванием ансамбля. Ниже мы будем подробно анали-зировать этот процесс.
В дальнейшем нам понадобится обратная процедура - восста-новление всех составляющих признаков по возбужденному ансамб-лю-объекту. Для реализации этой процедуры в АП-структуру необхо-димо ввести дополнительные проективные связи, в результате чего получается структура, представленная на рис.2.5. Она отличается от предыдущей тем, что здесь появляются возбуждающие проективные связи от поля AF2 к полю AF1 и тормозящие - от BF1 к полю AF2. Эти тормозящие связи никогда не включаются одновременно с воз-буждающими проективными связями от BF1 к AF2.
+----------------------+
╕ AF2 O ╕
╕ * +++ ╕O-----------------+
╕ * ╕ ╕
╕ * *** ╕<------------+ ╕
╕ ╕ ╕ ╕
+----------------------+ ╕ ╕
╕ ╕ ╕
╕ ╕ ╕
+-------------------------+ +----------------------+
╕ AF1+---------------+ ╕ ╕ BF1 +---------+ ╕
╕ ╕f1+╕*********╕ ╕ ╕ ╕ f2 ╕ ╕
--->╕ ╕ ++---------╕ ╕---->╕ +---------+ ╕
╕ ╕ +╕+++ f3 ╕ ╕ ╕ ╕
╕ +-------------+ ╕ ╕ ╕
+------------------------+ +----------------------+
Рис.2.5. Расшифровка ансамбля верхнего уровня:
* - возбужденные нейроны;+ - нейроны, которые сначала
были возбуждены, но затем заторможены
Пусть теперь каким-либо способом в поле AF2 оказался возбуж-денным ансамбль О (например, распознан по неполному входному на-бору признаков) и нам надо определить полный набор его признаков. Включим проективные связи AF2 ---> AF1. В ассоциативном поле AF1 окажутся возбужденными части ансамблей-признаков f1 , f2 и f3 . Начнется конкуренция за возбуждение, в результате которой только один какой-либо признак (на рисунке это f2 ) окажется возбужден-ным, а остальные потеряют ту часть возбуждения, которую имели. Этот признак будет передан в поле BF1. Далее включим тормозящие проективные связи BF1 ---> AF2. В результате все нейроны-предста-вители признака f2 в ансамбле О окажутся заторможенными. Если те-перь снова включить связи AF2 ---> AF1, то возбудятся части ан-самблей только у двух признаков f1 и f 3. Затем только эти приз-наки начнут конкурировать и в результате победит один из них (например, f1). Будучи передан в поле BF1, и этот признак затор-мозит своих представителей в ансамбле О, после чего в поле AF1 беспрепятственно возбудится оставшийся признак f3 , который будет передан в поле BF1.
Таким образом произойдет последовательная расшифровка ан-самбля объекта О по составляющим его признакам.
В нашем примере восстановление происходило не в той после-довательности, в которой признаки поступали на вход при формиро-вании ансамбля, но существуют АП-структуры, когда последователь-ность подачи признаков на вход отражается на составе ансамбля О и восстанавливается при его расшифровке.
+----------------------+ +----------------------+
╕ AF(O) O ╕ ╕ BF +-------------+ ╕
╕ + +++ ╕ ╕ ╕f1+╕+++f2 ╕ ╕
╕ + ╕O-----╕ ╕ ++---------╕ ╕
╕ + +++ ╕ ╕ ╕ +╕+++ f3 ╕ ╕
╕ ╕<-----╕ +---------------╕ ╕
╕ + + + ╕ ╕ ╕ + + + N ╕ ╕
╕ N ╕ ╕ +--------------+ ╕
+----------------------+ +----------------------+
╕ ╕ ╕ ╕
╕ ╕ +------------+ ╕
╕ +-----------------------+ ╕
╕ +----------+ ╕ ╕
╕ ╕ ╕ ╕
+-------------------------+ +----------------------+
╕ AF(F)+-------------+ ╕ ╕ AF(N) ╕
╕ ╕f1 ╕ f2 ╕ ╕ ╕ ╕
╕ ╕ +---------╕ ╕ ╕ ╕
╕ ╕ ╕ f3 ╕ ╕ ╕ ╕
╕ +-------------+ ╕ ╕ +-------------+ ╕
╕ ╕ ╕ ╕ N ╕ ╕
╕ ╕ ╕ +-------------+ ╕
+-------------------------+ +-----------------------+
╕ ╕
╕ ╕
+----------------------+ +----------------------+
╕ CU(F) ╕ ╕ CU(N) ╕
╕ ╕ ╕ ╕
╕ ╕ ╕ ╕
+----------------------+ +----------------------+
Рассмотрим теперь простейшую структуру, позволяющую присва-
ивать имена различным объектам (рис.2.6). В нее включены два ко-
дирующих устройства и два ассоциативных поля нижнего уровня: для
признаков (CU(F) и AF(F)) и для имен (CU(N) и AF(N)). Имена объ-
ектов кодируются устройством CU(N) точно так же, как признаки
кодируются устройством CU(F), и точно так же, как у признаков
формируются нейронные ансамбли-имена (в поле AF(N)). При форми-
ровании ансамбля верхнего уровня имя передается в то же буферное
поле BF, что и признаки. Вместе с признаками оно участвует в
процедуре нормировки и посылает своих представителей а ансам-
бль-объект. Фактически, имя объекта становится одним из призна-
ков, составляющих его описание. Например, предмет может иметь
такие признаки: круглый, именуется "футбольный мяч", кожанный
снаружи, резиновый изнутри. Если сформирован такой ансамбль, то процессы его распознавания и расшифровки в этом примере могут позволить системе делать заключения такого типа:
1. Дано: круглый, кожаный снаружи. Следует: именуется "фут-больный мяч".
2. Дано: именуется "футбольный мяч". Следует: круглый, ко-жаный снаружи, резиновый изнутри.
Механизм этих заключений аналогичен описанному выше и весь процесс можно легко проследить, пользуясь рис.2.6. Попав в сос-тав ансамбля вместе с другими признаками объекта, имя затем не-изменно участвует во всей остальной его судьбе. Наравне с други-ми признаками имя посылает своих представителей, когда из нес-кольких объектов формируется ансамбль более высокого уровня (например, сцены), а также наравне с другими признаками оно рас-шифровывается, когда более сложный ансамбль расшифровывается по составляющим его объектам.
Имена можно присваивать ансамблям любого уровня. Сцене мо-жет быть присвоено свое имя, по которому можно возбудить весь ансамбль, а затем, расшифровав его, определить имена составляю-щих объектов, построив таким образом "словесное описание" сцены. Например, по имени "футбол" может возбудиться сцена футбольного матча, из составляющих ее объектов сложится описание: "футбол" - "футбольный мяч, футбольное поле, игроки, зрители ...".
Очевидно, что при возбуждении всех названных выше имен од-новременно оказываются возбужденными и соответственные признаки, описывающие образы объектов. В каком-то смысле можно сказать, что "образное мышление" такой системы неразрывно с "символьным мышлением".
Нетрудно представить себе, что на основе описанных выше АП-структур можно построить иерархически организованные нейропо-добные сети, способные формировать, хранить и использовать слож-ные образно-символьные описания разнообразных явлений окружающе-го мира. При этом появляется возможность в одном из полей сфор-мировать нейронные ансамбли, соответствующие критериям оценки деятельности всей системы в целом (аналоги человеческих чувств [20]). Представители этих ансамблей аналогично именам объектов могут включаться в состав самых разных ансамблей. В результате любой процесс обработки информации в сети будет сопровождаться непрерывной оценкой результатов с точки зрения системных крите-риев. Такая оценка позволяет сделать процесс обработки информа-ции целенаправленным. Рассмотрим один пример.
Пусть разработана ассоциативно-проективная нейроподобная структура, составляющая основу системы управления адаптивным ро-ботом. Пусть робот воспринимает различные ситуации, в которые он попадает, и в поле AF(S) нейроподобный сети формируются соответ-ствующие этим ситуациям ансамбли (рис.2.7). В сети существует также ассоциативное поле AF╝, где формируются ансамбли, соот-ветствующие действиям робота. Кроме того, в сети, представленной на рис.2.7, есть новый тип поля - разностное нейронное поле DF, которое служит для определения отличий двух нейронных ансамблей. Входами разностного поля служат тормозящие и возбуждающие проек-тивные связи, идущие от различных нейронных полей, где хранятся сравниваемые ансамбли. На рис.2.7 представлены две ситуации S1 и S2, поступившие по входам I1 в поле AF(S) (или распознанные в этом поле по неполный информации), причем S1 появилась раньше, а S2 - позже, поэтому ансамбль S1 оказался переданным в буферное поле BF1. В разностном поле DF возбужденными будут те нейроны, которые присутствуют в S2, но отсутствуют в S1, т.е. новые приз-наки, появившиеся в промежутке времени между появлением S1 и S2. Если в этом промежутке времени робот совершил действие R(1-2), то вновь появившиеся признаки естественно связать с этим дейст-вием, что и делается в полях BF2 и AF(S-R).
+-----------------------+
╕ AF(S-R) ╕
╕ ++++ ╕
+--╕ ++ ╕
╕ ╕ ++ ╕
╕ ╕ S1->R(1-2)->S2 ╕
╕ +------------------------+
╕ ╕
╕ ╕
+-----------------+ +--------------------+ ╕ +-----------------+
╕ BF1 ╕ ╕ DF +--------+ ╕ ╕ ╕ BF2 +-----+ ╕
╕ ╕ ╕ ╕S2-S1╕ ╕ ╕ ╕ +----╕++++ ╕ ╕
╕ +-------+ ╕----O╕ +--------+ ╕ ╕---->╕ ╕ +++--+ ╕ ╕
╕ ╕ S1 ╕ ╕ ╕ +--+ ╕ ╕ ╕ ╕ ++╕ +--+ ╕
╕ +-------+ ╕ ╕ ╕ ╕ ╕ +----+ ╕
+-----------------+ +--------------------+ ╕ +-----------------+
╕ ╕ ╕ ╕
╕ ╕ ╕ ╕
+---------------------+ ╕ ╕ +--------------------+
╕ AF(S) +-----+╕ ╕ ╕ ╕ AF╝ ╕
╕ ╕ S2 ╕ ╕ ╕ ╕ ╕ +----+ ╕
╕ ╕ ╕ ╕-------- ----+ +->╕ ╕ ╕ R(1-2) ╕
╕ +-----+ ╕ ╕ ╕ ╕ ╕
╕ ╕ ╕ +----+ ╕
+---------------------+ +-------------------+
╕ ╕
╕ ╕
I1 I2
Рис.2.7. Формирование ансамбля, связывающего реакцию робота
с изменением ситуации
Если робот совершает различные действия и попадает в разные
ситуации, то в поле AF(S-R) накапливаются сведения о том, как
связаны действия робота с изменениями ситуации.
Пусть, кроме того, при формировании ансамблей-ситуаций в
поле AF(S) по входам I2 каждый раз передавались представители
критериев оценки и они оказались включенными во все ансамбли.
Обученный таким образом робот, воспринимая ситуацию S', сразу же
получает расшифровку ее критериальной оценки. Передав ситуацию
S' в поле BF1, он изменяет возбуждение критериальных ансамблей
таким образом, чтобы они удовлетворяли его целям, а не соответс-
твовали текущей ситуации. После этого на вход поля AF(S) однов-
ременно подается информация о текущей ситуации (по входам I1) и
о желательных критериальных признаках (по входам I2). В резуль-
тате в поле AF(S) возбуждается ансамбль такой ситуации, которая
наиболее близка к текущей, но имеет более благоприятную критери-
альную оценку. Эту ситуацию робот считает своей "целью".
В разностном поле появляется отличие цели от текущей ситуа-
ции, которое приводит к возбуждению в поле AF(S-R) наиболее под-
ходящего ансамбля и к расшифровке в поле AF╝ действия, соот-
ветствующего этому ансамблю.
При большом "опыте", накопленном в поле AF(S-R), велика ве-
роятность того, что выбранное действие приведет именно к тем из-
менениям ситуации, которые нужны роботу.
Итак, мы привели только один пример сравнительно развитой
АП-структуры, используемой для целенаправленной ассоциативной
обработки информации, и в целом, целью данного раздела было лишь
общее знакомство с некоторыми идеями построения АП-структур, а
именно:
рования
Описание АП-структур начнем со схемы нейрона, представлен-ной на рис.2.8. Это один из возможных вариантов реализации фор-мального нейрона, имеющего установочные (S1 ... Sk), тормозящие (R1 ... Rk) и ассоциативные (A1 ... An ) входы. На каждый из этих входов может поступать сигнал, принимающий значение 0 или 1.
Будем говорить, что сигнал присутствует на входе, если его
значение равно 1; если 0, то сигнал отсутствует. На выходе ней-
рона Q сигнал также может принимать только два значения: 0 или
устройства LU1 и LU2, двоичный счетчик Ct, регистр RG1, компара-
тор COM, сдвиговый регистр RG2 и синаптические устройства SU1
... SUn. Нейрон работает под управлением синхросигналов, посту-
пающих на вход С. Синхросигнал на входе С попеременно принимает
a =q a =q ... a =q
1 1 2 2 n n
╕ ╕ ╕ +--------------------------+
L ╕ ╕ ╕ +---+ ╕
-----+-----+------------+-+ S1--->╕ 1╕ ╕
A1╕ ╕ A2╕ ╕ An╕ ╕ S2--->╕ ╕ ╕
+---+ +---+ +---+ ... ╕LU1╕--+ ╕
_ ╕W ╕ ╕W ╕ ... ╕W ╕ Sk--->╕ ╕ ╕ ╕
_ ╕ i1╕ ╕ i2╕ ╕ in╕ +---+ ╕ ╕
+---+ +---+ +---+ ╕ ╕ ╕
╕SU1 ╕SU2 ╕SUn +---+ ╕ +---+ +---+ ╕
+---------------------+ ╕ ╕ +--->╕ ╕ ╕ ╕ ╕ Q
╕ RG2 ╕------->╕Ct ╕------>╕RG1╕--->╕COM╕-+-->
+---------------------+ ╕ ╕ +----O╕ ╕ +->╕ ╕ ╕
+---+ ╕ +-->╕ ╕ ╕ ╕ ╕ ╕
╕ ╕ ╕ +---+ ╕ +---+ ╕
+---+ ╕ ╕ ╕ ╕
R1--->╕ 1╕ ╕ ╕ ╕ ╕
R2--->╕ ╕-+ ╕ ╕ ╕
... ╕LU2╕ ╕ ╕ ╕
Rk--->╕ ╕ ╕ ╕ ╕
+---+ ╕ ╕ ╕
+-------+---------╕--------+
╕ ╕
C T
значения 0 и 1. За тот период времени, пока синхросигнал сохра-
няет значение 1 (с = 1), сдвиговый регистр RG2 передает в счет-
чик Ct все попарные произведения (qj * wij ) и счетчик вычисля-
ет величину
_ n
_ --
_ \
_ E = q w , (2.4)
_ i / j ij
_ --
_ j=1
где qi - сигналы на ассоциативных входах, а wij - соответству-
ющие синаптические веса. Величина E i называется входной суммой сигналов (или просто входной суммой) нейрона и является анало-гом мембранного потенциала.
В момент перехода синхросигнала от 1 к 0 (по заднему фрон-ту) производится передача содержимого счетчика Ct (величины Ei ) в регистр RG1. Компаратор СОМ сравнивает эту величину со значе-нием порога t, поступающим в нейрон по входам Т, в результате чего формируется выходной сигнал qi в соответствии с правилом:
1, если E i > t , qi = (2.5)
0, если E i < t .
Значение порога t изменяется в пределах 0 < t < n, где n - число нейронов в нейронном поле, и определяет регулятор актив-ности нейронного поля. Для этого регулятору отводится период времени, в течение которого синхросигнал отсутствует (с = 0). К концу этого периода порог t должен быть определен и зафиксирован на все время присутствия сигнала на синхровходе (с =1).
Описанные выше процессы происходят в нейроне только при от-сутствии сигналов на входах S и R. Если хотя бы на одном из вхо-дов S1 ... Sk сигнал присутствует, то независимо от содержимого счетчика по заднему фронту синхросигнала во все разряды регистра RG1 заносятся единицы. Очевидно, что при любом пороге t на выхо-де нейрона в этом случае появится единичный сигнал. Таким обра-зом, установочные входы имеют более высокий приоритет по сравне-нию с ассоциативными.
Если хотя бы на одном из входов R1 ... Rk присутствует сиг-нал, то по заднему фронту синхросигнала во все разряды регистра RG1 заносятся нули независимо от состояния счетчика и состояний установочных входов. При этом на выходе нейрона появится нулевой сигнал. Отсюда следует, что тормозящие выходы имеют самый высо-кий приоритет.
Теперь опишем правила изменения синаптических весов нейрона W ij в процессе обучения нейронной сети. Будем считать, что из-менение происходит в момент перехода синхросигнала из состояния 0 в 1. Используется два правила изменения синаптических весов в зависимости от знака сигнала подкрепления l (l изменяется в преде-лах [-1, +1]).
1.При l > 0
W'ij = W ij \/ (qi & qj & hij ), (2.6)
где W'ij - синаптический вес ассоциативной связи, идущей от j-го нейрона к i-му после изменения в результате обучения; w ij - вес этой же связи до изменения; qi, qj - выходные сиг-налы i-го и j-го нейронов; hij - двоичная случайная величина с математическим ожиданием, равным сигналу подкрепления (М (hij ) = l); \/ - знак дизъюнкции; & - знак конъюнкции.
W'ij = W ij & (qi & qj & hij ), (2.7)
где черта над скобкой обозначает отрицания, а остальные обо-значения те же, что и в формуле (2.6) за исключением того,что математическое ожидание двоичной случайной величины равно абсо-лютной величине сигнала подкрепления (М (h ij ) = IlI).
Изображении нейроподобные структуры на рисунках, будем ис-пользовать упрощенное графическое обозначение нейрона, показан-ное на рис.2.9, а в тех случаях, когда какие-либо входы не ис-пользуются в структуре, показывать их не будем.
\ L ╕ ╕ ╕ S +-----+
\ ╕A1 ╕A2 ... An╕ ---->╕ ╕
\ ╕ ╕ ╕ E ╕ ╕ Q
-------O------O---------O-------╕ > +---->
w w w R ╕ ╕
i1 i2 in ╕ ╕
----O╕ ╕
+-----+
╕ ╕
C T
Теперь приведем более точное описание нейронных полей и
различных типов связей, соединяющих нейроны, одного и того же
поля, или разных полей. Начнем с описания буферного нейронного
поля(рис.2.10,а). В его формировании не участвуют ассоциативные
входы, входы подкрепления и установки порога, поэтому на схеме
они не показаны. Основной особенностью буферного нейронного поля
является то, что выход каждого нейрона соединен с одним из его
собственных установочных входов, поэтому нейрон, переведенный в
возбужденное состояние (на выходе 1), остается в таком состоянии
до тех пор, пока не поступит сигнал на один из его тормозящих
+ - - - - - - - - - - - +
| +------------+ |
| ╕ +-----+ ╕ |
| +-->╕ ╕ ╕ | Q
S-|--------->╕ > +------|--->
R-|---------O╕ ╕ |
| +------O+-----+ |
| ╕ +-------+ |
| ╕ +------------+ ╕ |
| ╕ ╕ +-----+ ╕ ╕ |
| ╕ +-->╕ ╕ ╕ ╕ | Q +------------+
S-|--╕------>╕ > +----╕-|---> S---->╕ BF ╕
R-|--╕------O╕ ╕ ╕ | R----O╕ ╕ Q
| +------O+-----+ ╕ | ╕ ╕------->
| ╕ +-------╕ | R*--->╕ ╕
| ╕ ... ╕ | C---->╕ ╕
| ╕ +------------+ ╕ | +------------+
| ╕ ╕ +-----+ ╕ ╕ |
| ╕ +-->╕ ╕ ╕ ╕ | Q
S-|--╕------>╕ > +----╕-|--->
R-|--╕------O╕ ╕ ╕ |
| +------O+-----+ ╕ |
| ╕ +-------╕ |
+ -╕- - - - - - - - - ╕-+
R* C
а б
Рис.2.10. Буферное нейронное поле:
а-схема; б-графическое
обозначение
входов. Поэтому буферное поле обладает способностью накапливать возбуждение нейронов. Для одновременного полного сброса его воз-буждения предусматривается вход R , по которому тормозящий сиг-нал подается одновременно на все нейроны. Внешние сигналы пода-ются в буферное поле по установочным (S) и тормозящим ╝ вхо-дам.
На рис.2.10,б представлено графическое изображение буферно-го поля, которое мы будем использовать при вычерчивании схем АП-структур. Здесь одиночные связи показаны обычными линиями, а групповые (пучки, состоящие из n межнейронных проективных свя-зей) двойными. Как правило, мы не будем показывать входы R и С и те связи ненужные для понимания особенностей структуры.
Буферное поле может иметь регулятор активности, принцип ра-боты которого отличается от регулятора активности ассоциативного поля и будет описан в разделе, посвященном кодированию информа-ции, при описании процедуры нормирования.
Вторым типом нейронного поля является разностное поле.
(рис.2.11,а), предназначенное для определения различий между на-бором возбужденных нейронов каких-либо полей. Для этого выходы первого поля подаются на установочные входы S, а второго - на тормозящие входы R разностного поля. На выходах разностного поля будут возбуждены только те нейроны, которым соответствуют воз-бужденные нейроны первого поля и невозбужденные - второго. Если векторы выходной активности полей рассматривать как характерис-тические функции подмножеств активных нейронов, то очевидно, что разностное поле вычисляет соответственно теоретико-множественную разность. Графическое обозначение разностного поля показано на рис.2.11,б.
+ - - - - - - - - +
| +-----+ |
S---|------>╕ ╕ | Q
| ╕ > +---|---->
R---|------O╕ ╕ |
| +-----+ |
| +-------+ |
| ╕ +-----+ | +------------+
S---|--╕--->╕ ╕ | Q S----->╕ DF ╕ Q
| ╕ ╕ > +---|----> R-----O╕ ╕------>
R---|--╕---O╕ ╕ | C----->╕ ╕
| ╕ +-----+ | +------------+
| +-------+ |
| ╕ ... |
| ╕ +-----+ |
S---|--╕--->╕ ╕ | Q
| ╕ ╕ > +---|---->
R---|--╕---O╕ ╕ |
| ╕ +-----+ |
| +-------+ |
+ -╕- - - - - - - +
╕
а б
Рис.2.11. Разностное нейронное поле:
а-схема; б-графическое
обозначение
Наиболее сложным и наиболее важным типом нейронных полей является ассоциативное нейронное поле (рис.2.12), предназначен-ное для формирования нейронных ансамблей в процессе обучения и распознавания их в процессе работы нейронной сети. В ассоциатив-ном нейронном поле выход каждого нейрона соединен с ассоциатив-ными входами всех других нейронов через синаптические элементы. Так же, как и в буферном, здесь есть входы синхронизации С и об-щего сброса R , а также группы установочных входов S для прину-дительной установки нейронов поля в требуемые состояния и тормо-зящих входов R для принудительной блокировки возбуждения опреде-ленных нейронов. Кроме того, в ассоциативном поле имеется вход L, по которому при обучении подается сигнал подкрепления.
+ - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
| +----------------------------------------------------+|
| ╕ +-----------------------------------------------+╕|
| ╕ ╕ +--------------------------------------+╕╕|
| ╕\ ╕w ╕w w ╕ +-----+ ╕╕╕|
| ╕ \ ╕ 11╕ 12 1n╕ +----------------->╕ ╕ ╕╕╕| Q
| ╕ ---O---O-------O-╕------------------╕ > +-----------╕╕-|--->
| ╕ ╕ ╕ ╕ ╕ +----------O╕ ╕ ╕ ╕╕ |
| ╕ ╕ ╕ ... ╕ ╕ ╕ +---O+-----+ ╕ ╕╕ |
| ╕ ╕ ╕ ╕ ╕ ╕ ╕ +----+ +---+ ╕ ╕╕ |
| ╕\ ╕w ╕w w ╕ ╕ ╕ ╕ ╕ +-----+ ╕ ╕ ╕╕ |
| ╕ \ ╕ 21╕ 22 2n╕ ╕+-----╕------╕-╕->╕ ╕ ╕ ╕ ╕╕ | Q
| ╕ ---O---O-------O-╕╕-----╕------╕-╕--╕ > +-╕------╕--╕--|--->
| ╕ ╕ ╕ ╕ ╕╕ ╕+-----╕-╕-O╕ ╕ ╕ ╕╕ ╕ |
| ╕ ╕ ╕ ╕ ╕╕ ╕╕ +-╕-O+-----+ ╕ ╕╕ ╕ |
| ╕ ╕ ╕ ... ╕ ╕╕ ╕╕ ╕ +----+ +---╕ ╕╕ ╕ |
| ╕ ╕ ╕ ╕ ╕╕ ╕╕ ╕ ╕ ... ╕ ╕╕ ╕ |
| ╕\ ╕w ╕w w ╕ ╕╕ ╕╕ ╕ ╕ +-----+ ╕ ╕╕ ╕ |
| ╕ \ ╕ n1╕ n2 nn╕ ╕╕ +-╕╕-----╕-╕->╕ ╕ ╕ ╕╕ ╕ | Q
| ╕ ---O---O-------O-╕╕---╕-╕╕-----╕-╕--╕ > +-╕-----╕╕-----|--->
| ╕ ╕╕ ╕ ╕╕ +-╕-╕-O╕ ╕ ╕ ╕ ╕╕ |
| ╕ ╕╕ ╕ ╕╕ ╕ +-╕-O+-----+ ╕ ╕...╕╕ |
| ╕ ╕╕ ╕ ╕╕ ╕ ╕ +----+ +---╕ ╕ ╕╕ |
| ╕ ╕╕ ╕ ╕╕ ╕ ╕ ╕ ╕ ╕ ╕╕ |
| ╕ ╕╕ ╕ ╕╕ ╕ ╕ ╕ +----------+ |
| ╕ ╕╕ ╕ ╕╕ ╕ ╕ ╕ ╕ FAR ╕ |
| ╕ ╕╕ ╕ ╕╕ ╕ ╕ ╕ +----------+ |
+-╕- - - - - - - - - -╕╕- -╕-╕╕- -╕-╕-╕- - - - - - - ╕ - - - -+
╕ ╕╕...╕ ╕╕...╕ ╕ ╕C ╕
L S R R* M
a
+---------------------+
S------->╕ ╕
R-------O╕ AF ╕ Q
R*------O╕ ╕------->
C------->╕ ╕
L------->╕ ╕
M------->+---------------------+
б
Рис.2.12. Ассоциативное нейронное поле:
а-схема; б-графическое
обозначение
Ассоциативное поле содержит регулятор активности FAR, куда поступают сигналы с выходов всех нейронов. Регулятор определяет количество активных нейронов и изменяет порог t всех нейронов поля таким образом, чтобы количество активных нейронов минималь-но отличалось от размеров ансамбля m. Значение m вводится в ре-гулятор активности через вход М, являющийся одновременно и вхо-дом ассоциативного поля. Регулятор активности работает только в то время, когда нет сигнала на синхровходе (с = 0). При его по-явлении регулятор прекращает свою работу и удерживает значение порога t на постоянном уровне все время, пока на синхровходе есть сигнал (с = 1).
Перейдем теперь к описанию двух типов проективных связей - прямых и смещенных. Рассмотрим прямые проективные связи (рис.2.13,а, графическое обозначение - на рис.2.13,б). Если пе-ренумеровать все нейроны в каждом поле (i + s) mod n , (2.8) где s - смещение, постоянное для всех нейронов. Значение смещения при необходимости мы будем указывать рядом с графическим обозначением смещенных связей.
+ - - - - - + + - - - - - +
| BF1 | | BF2 |
| +-----+ | | +-----+ |
| ╕ > +--|-----|->╕ > ╕ |
| +-----+ | | +-----+ |
| +-----+ | | +-----+ |
| ╕ > +--|-----|->╕ > ╕ |
| +-----+ | | +-----+ |
| +-----+ | | +-----+ |
| ╕ > +--|-----|->╕ > ╕ | +---------+ +---------+
| +-----+ | | +-----+ | ╕ BF1 ╕---->╕ BF2 ╕
| +-----+ | | +-----+ | +---------+ +---------+
| ╕ > +--|-----|->╕ > ╕ |
| +-----+ | | +-----+ |
| +-----+ | | +-----+ |
| ╕ > +--|-----|->╕ > ╕ |
| +-----+ | | +-----+ |
+ - - - - - + + - - - - - +
а б
Рис.2.13. Прямые проективные связи:
а-схема соединения; б-графическое обозначение
Особое место в ряду смещенных связей занимает случай, когда s = n/2, n - четные. Такие связи мы будем называть перекрестными и обозначать специальным символом, показанным на рис.2.15.
Прямые, смещенные и перекрестные проективные с (i + s) mod n , (2.8) где где s - смещение, постоянное для всех нейронов.
Значение смещения при необходимости мы будем указывать рядом с графическим обозначением смещенных связей.
Особое место в ряду смещенных
связей занимает случай, когда s = n/2, n - четные.
Такие связи мы будем называть перекрестными и
обозначать специальным символом, показанным на
рис.2.15.
+ - - - - + + - - - - - +
| BF1 | s=2 | BF2 |
| +-----+ | | +-----+ |
| ╕ > +-|- -|->╕ > ╕ |
| +-----+ | \ / | +-----+ |
| +-----+ | \ / | +-----+ |
| ╕ > +-|- \ / -|->╕ > ╕ |
| +-----+ | \ \ / / | +-----+ |
| +-----+ | \ X / | +-----+ | +-------+ s +-------+
| ╕ > +-|- \/ \/---|->╕ > ╕ | ╕ BF1 ╕----->╕ BF2 ╕
| +-----+ | \ /\ / | +-----+ | +-------+ +-------+
| +-----+ | X X | +-----+ |
| ╕ > +-|-/ \/ \----|->╕ > ╕ |
| +-----+ | /\ | +-----+ |
| +-----+ | / \ | +-----+ |
| ╕ > +-|-/ \----|->╕ > ╕ |
| +-----+ | | +-----+ |
+ - - - - + + - - - - - +
а б
Рис.2.14. Смещенные проективные связи:
а-схема соединений; б-графическое обозначение; s-число, определяющее величину смещения (0 < s < n)
+-------+ +-------+
╕ BF1 ╕---X--->╕ BF2 ╕
+-------+ +-------+
Прямые, смещенные и перекрестные проективные связи могут быть как установочными, так и тормозящими. (В примерах, приве-денных на рис.2.13-2.15, показаны только установочные). Как уже говорилось выше, проективные связи передают сигналы только тог-да, когда появляется разрешающий сигнал, общий для всего пучка, состоящего из n связей.
Таким образом, мы описали основные элементы, из которых строятся АП-структуры: буферные, разностные и ассоциативные ней-ронные поля, которые соединяются между собой прямыми, смещенными и перекрестными проект ивными связями.
|
|