Глава 8. РАСПОЗНАВАНИЕ ЗВУКОВЫХ СИГНАЛОВ

Глава 9. ЛОГИЧЕСКИЙ ВЫВОД В НЕЙРОПОДОБНОЙ СЕТИ

ВВЕДЕНИЕ


В этой книге мы опишем новые вычислительные средства, кото-рые разрабатываются для решения задач искусственного интеллекта. В их основе лежит аналогия с функционированием нервной системы человека, поэтому структуры такого рода часто называют нейропо-добными сетями. Одним из основных свойств нейроподобных сетей является ассоциативность, т.е. способность восстанавливать ин-формацию по ее малой части и устанавливать сходство различных объектов по их описанию. Это свойство играет большую роль в ре-шении проблем искусственного интеллекта.

С середины 80-х гг. непрерывно растет интерес к моделирова-нию нейронных сетей. Их особенностью является параллельная рабо-та, и поэтому моделирование таких сетей на ЭВМ, имеющих традици-онную архитектуру, требует затрат большого количества времени. Для ускорения этого процесса в разных странах мира начали появ-ляться специализированные устройства, получившие название нейро-компьютеров.

Существует большое разнообразие типов нейрокомпьютеров - от специализированных интегральных схем, в которые вводится заранее определенная структура нейронной сети, до универсальных програм-мируемых сопроцессоров к вычислительным машинам, на которых мож-но реализовать любую модель любой нейронной сети. Существует также и целый ряд промежуточных типов нейрокомпьютеров с той или иной степенью специализации. В данной монографии мы опишем спе-циализированные нейрокомпьютеры, ориентированные на моделирова-ние одного класса нейронных сетей. Этот класс характеризуется тем, что нейронные сети имеют иерархическую ассоциативную струк-туру, причем на каждом иерархическом уровне нейроны связываются друг с другом ассоциативными связями, образуя нейронные ансамб-ли, а между уровнями - проективными связями, которые остаются неизменными в процессе работы сети. Таким образом, структуры ин-тересующих нас сетей можно назвать ассоциативно-проективными структурами (АП-структурами), а нейрокомпьютеры, моделирующие такого рода структуры, - ассоциативно-проективными нейрокомпь-ютерами (АП-нейрокомпьютерами).На нейрокомпьютерах целесообразно решать задачи, в которых традиционно силен человек и где вычис-лительные машины уступают человеческому мозгу. Примерами таких задач могут быть ассоциативный поиск информации, распознавание зрительных и слуховых образов, формирование сложных моделей внешнего мира для автоматического выполнения работ в реальной среде, построение баз знаний о некоторой предметной области, построение систем поддержки принятия решений и др. Нейрокомпь-ютеры, как и человеческий мозг, слабы в области выполнения рас-четных работ, связанных с большим объемом вычислений, с высокой точностью. Поэтому во многих случаях их целесообразно использо-вать совместно с ЭВМ. Как правило, нейрокомпьютеры так и разра-батывают в виде приставки к персональной или другой вычислитель-ной машине.

Нейроподобные структуры дают возможность по-новому подойти к решению целого ряда задач, считающихся традиционно сложными для вычислительных машин, благодаря ряду своих особенностей при-ведем некоторые из них. ностей.

• 1. Параллельность обработки информации. Данным процессом исследователи интересовались на протяжении всей истории развития электронной вычислительной техники, и в настоящее время создано большое количество вычислительных средств, позволяющих распарал-леливать решение задач. Опыт работы с такими устройствами пока-зывает, что хорошие результаты получаются в тех случаях, когда обрабатываемые данные имеют однородную структуру (векторы, мат-рицы и т.п.), однако попытки применения их для решения задач, связанных с поиском на графах, и аналогичных задач, к которым обычно сводят проблемы искусственного интеллекта, наталкиваются на большие трудности. Нейроподобные структуры дают возможность организовать данные в виде однородных массивов и применить мето-ды распараллеливания, но при этом они дают и новые возможности поиска хранящейся в этих структурах информации, что позволяет надеяться на новые подходы к решению задач искусственного интел-лекта.
• 2. Ассоциативность. Это свойство нейроподобных структур восстанавливать хранящуюся в них информацию по ее части. Подоб-ное свойство пытались воспроизвести на всех этапах развития вы-числительной техники, однако в подавляющем большинстве случаев предложенные ассоциативные устройства осуществляют поиск инфор-мации по заранее выделенной ее части (по ключу). Ассоциативность нейроподобных структур отличается от ассоциативности большинства других типов технических устройств возможностью восстановления информации по любой ее части.
• 3. Способность к автоматической классификации. В вычисли-тельной технике данному свойству уделялось большое внимание. Разработаны разнообразные автоматические классификаторы и клас-сифицирующие программы, реализуемые на универсальных ЭВМ. Осо-бенностью нейроподобных структур является то, что способность к автоматической классификации внутренне присуща многим таким структурам и для ее реализации не требуется применение дополни-тельных мер.
• 4. Способность к обучению. В процессе обучения нейроподоб-ные структуры способны перестраиваться для решения различных за-дач. Многие программы в той или иной степени такой способностью обладают и все-таки в целом основным способом подготовки вычис-лительной машины к решению новой задачи остается создание новой программы и обучение,а основным способом подготовки нейроподоб-ных структур к решению новых задач является обучение.В этом меж-ду нейроподобными структурами и вычислительными машинами нет ка-кого-либо резкого принципиального различия, речь идет скорее о количественном соотношении затрат, необходимых при разработке новых программ и параметрической настройке их на решаемые зада-чи. Однако надо иметь в виду, что в нейроподобных сетях под "программой" понимаются исходная структура (вводимая разработчи-ком до начала обучения нейроподобной сети), исходные значения параметров и алгоритмы функционирования различных блоков нейро-подобной сети. Это понятие не совсем точно соответствует понятию программы в вычислительной машине. Общность их заключается в том, что в обоих случаях разработчик, используя свои представле-ния о задаче подготавливает устройство к ее решению, а к предъ-явлению примеров, на которых строится процесс обучения, прибега-ет лишь после создания самой программы.
• 5. Надежность. Нейроподобные структуры работают с высокой надежностью. Эксперименты, проведенные на вычислительных маши-нах, показывают, что выход из строя большого количества элемен-тов нейроподобной сети (до 10%, а иногда и более) не приводит к отказам в работе всей структуры. Надо отметить, что хотя источ-ник высокой надежности нейроподобных структур обычный - дублиро-вание элементов, в отличие от традиционных схем дублирования оно не приводит к избыточным затратам аппаратуры, поскольку в нейро-подобных структурах каждый элемент принимает участие в реализа-ции многих функций, что позволяет при высокой степени дублирова-ния экономно использовать рабочие элементы. Отказ каждого эле-мента в нейроподобной структуре ведет к ухудшению многих функ-ций, но это ухудшение настолько мало, что его, как правило, практически невозможно обнаружить.
• Перечисленные свойства делают нейроподобные структуры прив-лекательными и вполне оправдан тот интерес, который исследовате-ли проявляют к ним в течение последних лет. Здесь следует объяс-нить причины, по которым этого интереса не было на протяжении второй половины 60-х и 70-х гг. Их следует разделить на субъек-тивные и объективные. К субъективным, по-видимому, следует от-нести надежды первых исследователей на быстрое и эффективное ре-шение всех проблем в данной области и на получение законченных полезных результатов. Но надежды не оправдались и последовавшее затем разочарование было чрезвычайно глубоким. Из множества объ-ективных причин необходимо выделить две. Первая заключается в теоретических трудностях, с которыми столкнулись исследователи нейроподобных структур - нелинейными, сложными объектами, трудно поддающимися анализу. При этом многие исследователи поддались соблазну сильного упрощения, линеаризации исследуемого объекта, что привело к потере основных полезных свойств нейроподобных структур. Результаты же, полученные на таких упрощенных моделях, были отнесены ко всему множеству неисследованных структур. Вто-рой объективной причиной было слабое развитие аппаратных сред-ств. Попытки найти достаточно дешевые и технологичные аналоговые элементы для реализации адаптивных межнейронных связей в те годы закончились неудачей, а развитой микропроцессорной техники, поз-воляющей решить эти проблемы на цифровой элементной базе, еще не было.
• Бурное развитие электронной технологии в 70-х и 80-х гг. привело к тому, что в настоящее время существует адекватная эле-ментная база для аппаратной поддержки нейроподобных структур, а целый ряд теоретических проблем, не решенных в 50-х и гг. уда-лось решить, не прибегая к излишним упрощениям. Поэтому в насто-ящее время сложились условия, благоприятные для развития работ по нейроподобным структурам и нейрокомпьютерам. Выбирая конкрет-ное направление работ, сейчас очень важно правильно оценить си-туацию и свои реальные возможности. Зарубежные исследователи, разрабатывая универсальные устройства для моделирования самых различных нейронных сетей, делают ставку на высокий уровень электронной технологии, позволяющий реализовывать высокопроизво-дительные параллельные устройства, но наша элементная база не позволяет нам успешно конкурировать в этой области. Поэтому це-лесообразно выбрать конкретный тип нейроподобной сети и разраба-тывать для него специализированное вычислительное устройство, позволяющее скомпенсировать недостатки элементной базы высоким уровнем специализации. При этом есть риск сильно сузить круг за-дач, которые сможет решать такое устройство. К счастью, сущест-вуют нейроподобные структуры, обладающие большой универсаль-ностью, и реализация специализированного устройства для них поз-воляет ориентировать устройство на решение широкого круга задач, сохранив преимущества специализации. Этот путь позволяет разра-ботать конкурентоспособные устройства даже на слабой элементной базе. Ниже будут описаны такие нейроподобные структуры.

Глава 1. ОБЩЕЕ ОПИСАНИЕ АП-СТРУКТУР


В данной главе на содержательном уровне излагаются цели, для которых разрабатываются АП-структуры нейроподобных сетей, а также основные идеи, положенные в основу формирования таких структур.

1.1. Два способа представления ассоциативности в нейропо-добных сетях

Когда психологи говорят об ассоциации, они обычно имеют в виду способность человека по заданному понятию (или образу) очень быстро находить другие понятия (или образы), в каком-то смысле близкие к исходному. Это свойство считается очень важным для человеческого мышления, и специалисты по искусственному ин-теллекту не могли не отразить его в своих работах.

Можно выделить два основных способа, при помощи которых в искусственном интеллекте пытаются воспроизвести свойство ассоци-ативности. Первый заключается в установлении отношений между различными понятиями и записи этих отношений в явном виде, как это делается, например, в семантических сетях [1]. Тогда поняти-ям ставятся в соответствие узлы сети, а отношениям - связи между ними и ассоциации возникают при переходе по связям от одних уз-лов к другим. Второй способ заключается в описании содержания (объема) каждого понятия путем перечисления его признаков. Ассо-циация при этом может быть получена путем сравнения признаковых структур и выявления общих (ассоциация по смежности) или проти-воположных (ассоциация по контрасту) признаков. Этот способ мо-жет быть реализован в фреймовых структурах [2], хотя поиск ассо-циаций в них приводит к очень трудоемким процедурам. Как одну из интересных попыток ввести внутреннюю структуру понятий можно рассматривать нечеткие множества Заде [3], хотя структурирование здесь осуществляется только по одному параметру - мере принад-лежности, и получается относительно бедным.

Нетрудно заметить, что различие между этими способами бази-руется на том, что в первом случае понятие представляют единым, неделимым элементом, и все, что можно сказать об этом элементе, переносится в его связи, а во втором - множеством элементов, имеющим свою внутреннюю структуру.

Нейронные сети по своей природе являются едва ли не идеаль-ным устройством для получения ассоциаций, поэтому при их модели-ровании свойству ассоциативности уделяется большое внимание и почти все авторы моделей так или иначе решают вопрос о формиро-вании ассоциаций, но способов решения этого вопроса остается как минимум два: ассоциации за счет формирования межнейронных связей и ассоциации за счет пересечения подмножеств нейронов, входящих в состав понятий [4]. Различия этих двух способов имеют очень важные и далеко идущие последствия, но по-видимому, это обстоя-тельство еще недостаточно хорошо осознанно и не получило в лите-ратуре должного освещения.

Еще в 1949 г, Д.О.Хебб [5] высказал гипотезу, в соответст-вии с которой информацию о внешнем мире человеческий мозг форми-рует в виде нейронных ансамблей. Нейронный ансамбль по Хеббу - это множество нейронов, связанных между собой взаимными возбуж-дающими связями. Он обладает свойством возбуждаться целиком, когда в его составе возбужденной оказывается только часть нейро-нов. Это свойство, очевидно, может служить основой для появления ассоциаций. Так, если два ансамбля содержат в своем составе об-щие нейроны, то возбуждение одного из них через общие нейроны может привести к последующему возбуждению другого ансамбля. Если общие нейроны рассматривать как общие признаки, которые входят в состав двух понятий, отражаемых этими ансамблями, то переход возбуждения с одного ансамбля на другой можно считать ассоциаци-ей по смежности.

Рассматривая такого рода ассоциации, П.Милнер [6] пришел к выводу, что нейронный ансамбль имеет достаточно сложную внутрен-нюю структуру. В нем можно выделить ядро, отражающее основное содержание понятия или образа, и бахрому, отражающую менее су-щественные или конкретизирующие признаки. Нетрудно провести ана-логию между внутренней структурой нейронных ансамблей и тех по-нятий или образов, которые им соответствуют.

Ассоциативные структуры, предложенные Д.Хеббом и П.Милне-ром, с нашей точки зрения были наиболее близки к тому, что тре-буется для построения систем искусственного интеллекта, но в ра-ботах Д.Хебба и П.Милнера остались нерешенными многие вопросы, от которых зависела практическая реализация их модели. Одним из таких вопросов была устойчивость работы нейронной сети. Для того чтобы возбуждение отдельной группы нейронов не приводило к воз-буждению всей сети, П.Милнеру пришлось ввести тормозящие связи между активными и неактивными нейронами. Дальнейшее логическое развитие этой идеи привело к появлению сетей Хопфилда [7], в ко-торых исчезло исходное понятие нейронного ансамбля с его сложной внутренней структурой.

Другим нерешенным вопросом у Д.Хебба и П.Милнера был вопрос иерархии. Очевидно, что достаточно развитая информационная мо-дель внешнего мира должна быть иерархической. Нейронные сети Д.Хебба и П.Милнера имели "плоскую" структуру: все нейроны в та-кой сети совершенно равноправны и имеют равные возможности уста-навливать связи друг с другом. Наиболее естественным способом преодоления этого недостатка казалось выделение отдельных нейро-нов, которые могли бы служить представителями целых ансамблей на более высоком уровне иерархии.

Идея заменить целый ансамбль отдельным нейроном кажется очень привлекательной и в том или ином виде она присутствует в целом ряде работ, связанных с созданием нейроподобных структур. Так, в модели Гроссберга [8] входной вектор, содержащий набор признаков, входит в "адаптивный резонанс" с отдельным нейроном более высокого уровня, причем между уровнями формируются такие связи, что этот нейрон становится единственным представителем набора признаков. Если набор признаков существенно изменится, то появится новый нейрон-представитель. Главный недостаток этой мо-дели заключается в том, что на верхнем уровне нейрон-представи-тель не имеет никакой внутренней структуры, которая хоть как-то отражала бы внутреннюю структуру соответствующего набора призна-ков. Положение практически не изменяется и в том случае, когда на верхнем уровне для представительства выбирают не один, а нес-колько нейронов, поскольку в модели Гроссберга эта группа нейро-нов не представляет собой единого целого (нейронного ансамбля) и ее внутренняя структура не анализируется.

Потеря внутренней структуры признаковых наборов происходит и в иерархической модели Фукушимы [9], где также доминирует идея замены нейронных ансамблей отдельными нейронами при переходе с одного уровня на другой.

Одной из наиболее тщательно проработанных иерархических мо-делей с заменой группы признаков одним элементом более высокого уровня является растущая пирамидальная сеть, предложенная В.П.Гладуном [10]. Вся модель строится в виде множества пересе-кающихся пирамид, у которых любая вершина может быть описана в виде булевой функции от переменных, помечающих нижележащие узлы пирамидальной структуры. Анализируя эту модель, можно убедиться в том, что в ней (как и в других моделях с заменой нейронных ан-самблей одним нейроном) сохраняется потенциальная возможность восстановить внутреннюю структуру ансамблей, перемещаясь по пи-рамиде сверху вниз, и получить необходимые ассоциативные перехо-ды, но практическая реализация этих переходов требует сложных поисковых процедур, что снижает возможности применения этих мо-делей в системах искусственного интеллекта.

Очень интересные результаты, связанные с преодолением не-достатков модели Хебба и Милнера, получены Брайтенбергом [11], предложившим эффективный механизм управления активностью нейрон-ной сети, которые содержат нейронные ансамбли. Этот механизм ос-нован на регулировании порога срабатывания нейронов. Однако дальнейшее развитие этих работ в моделях Палма [12] и Ланснера [13] вылилось в основном в исследование информационной емкости подобных сетей. Ни проблема внутренней структуры ансамблей, ни вопросы сохранения этой структуры в иерархических моделях наз-ванными авторами не рассматриваются.

Таким образом, попытки устранить недостатки модели Хебба и Милнера привели одновременно к устранению ее основных достоин-ств. Быть может с этим связано и то обстоятельство, что даже термин "нейронный ансамбль" не слишком часто употребляется в современной литературе по нейронным сетям.

В работах школы Н.М.Амосова, к которой принадлежит автор, также прослеживается двойственное отношение к проблеме отображе-ния нейронных ансамблей в иерархических сетевых моделях. Одно направление работ [4] связано с разработкой активных семантичес-ких сетей (М-сетей), когда каждый нейронный ансамбль заменяется одним узлом сети. При этом сохраняются его семантические связи с другими ансамблями, но внутренняя структура теряется.

Другое направление работ связано с попыткой сохранить структуру нейронных ансамблей на всех уровнях иерархии. Данное направление развивается с конца 60-х гг. и первая задача, кото-рая была решена в рамках направления, - это достижение стабиль-ности работы сетей с ансамблевой структурой. Задача была решена А.Д.Гольцевым [14] еще до появления соответствующей работы Брай-тенберга. Механизм регулирования активности сети, предложенный Брайтенбергом, оказался близким к механизму Гольцева.

В конце 70-х гг. автор данной монографии рассмотрел целый ряд вопросов, связанных с формированием внутренней структуры нейронных ансамблей, ее описанием и с той ролью, которую может играть структура нейронных ансамблей в системах искусственного интеллекта [15].

Оставалась нерешенной проблема построения иерархических мо-делей, в которых ансамблевая структура естественным образом воз-никала бы на всех уровнях иерархии. Решение этой проблемы полу-чено в работах автора и его сотрудников, выполненных в течение последних лет (см. например, [16,17,18,19]). Результаты этих ра-бот представлены в публикациях фрагментарно, и данная монография является первой попыткой их систематического изложения.

1.2. Проблема имени и описания объектов в системах искусст-венного интеллекта

АП-структуры разрабатываются в основном для решения задач искусственного интеллекта и служат для обеспечения возможности моделирования образного и понятийного мышления, не отрывая их друг от друга. Здесь требуется пояснить, что мы будем понимать под образным и понятийным мышлением. Считается, что в сенсорных органах человека и животных осуществляется первичная обработка информации. Она приводит к выделению некоторых признаков, из ко-торых в дальнейшем формируются образы. В процессе обработки ин-формации можно оперировать комбинациями таких признаков или дру-гими более сложными структурами, описывающими образы. Манипуля-ции признаковыми структурами мы будем называть образным мышлени-ем.

Существует и другой тип обработки информации, когда каждой сколько-нибудь значимой признаковой структуре (образу) дается определенное имя (понятие). Из понятий складываются новые струк-туры и таким структурам даются новые имена (понятия более высо-кого уровня). Каждое понятие является лишь обозначением соответ-ствующей структуры и в отрыве от этой структуры не несет о ней никакой информации, кроме ссылки на нее. Поэтому для осмысленно-го манипулирования понятиями ("понятийного мышления") устанавли-ваются некоторые правила, в которых косвенно учитываются свойст-ва структур, обозначенных соответствующими понятиями.

Ставшие уже традиционными, основные методы построения сис-тем искусственного интеллекта главное внимание уделяют моделиро-ванию понятийного мышления. Все попытки оперировать непосредст-венно признаковыми структурами не дали реальных результатов, и в настоящее время даже в тех случаях, когда в систему искусствен-ного интеллекта включают сенсорные органы, воспринимающие приз-наки объектов окружающего мира, от них стараются как можно быст-рее освободиться. Для этого осуществляют распознавание образов и замену их именами. Нам представляется вполне вероятным, что мно-гие проблемы, с которыми сталкиваются разработчики искусственно-го интеллекта, обусловлены отрывом имени (понятия) от той исход-ной структуры, которая этим именем названа. Предпринимаются раз-личные попытки преодолеть этот разрыв. Одной из таких попыток является организация фреймовых структур, в которых именем явля-ется заголовок структуры, а сама она служит расшифровкой содер-жания имени. К сожалению, при построении иерархических систем в структуры более высокого уровня передаются только заголовки, т.е. имена, и когда появляется потребность в расшифровке содер-жимого этих имен, необходимо прибегать к поисковым процедурам, которые в развитых системах искусственного интеллекта приводят к проблеме так называемого экспоненциального взрыва.

Можно попытаться создать системы, когда содержание понятий, составляющих основу системы, не имеет значения. Вместо этого нужно только определить набор правил, по которым производятся все манипуляции понятиями. Это не что иное, как формализация ре-шаемой задачи. Трудности, возникающие на этом пути, хорошо из-вестны.

Приведем конкретный пример. Пусть перед нами стоит задача разработать систему управления транспортным роботом, предназна-ченным для выполнения работ в естественной среде. Пусть этот ро-бот оснащен достаточно совершенной системой технического зрения, и нам необходимо сформулировать на первый взгляд простое прави-ло: "Если перед роботом находится препятствие, его нужно объе-хать". Каждое из понятий в этом правиле для робота нужно расшиф-ровать. Что значит "перед роботом"? Впереди на расстоянии 100 м? Или робот уже прикоснулся передним бампером? Или впереди, но в стороне, однако дорога поворачивает в эту же сторону? Таких воп-росов можно поставить сотни. Что значит препятствие? Поваленное дерево? Кустик полыни? Выбоина на дороге? Выбоина на песке в су-хую погоду или она же на глинистой дороге после сильного дождя? Что значит объехать? Повернуть руль и проехать вперед или надо сначала отъехать немного назад?

Даже такой пример, с самого начала очень упрощенный, может породить систему описаний, практически необозримую, если мы по-желаем учесть все возможные случаи. Попытки структурировать сис-тему описаний улучшают ее, но не решают проблему полностью, пос-кольку любая классификация, которой приходится пользоваться в таких случаях, вносит свои погрешности и добавляет возможности ошибок. Когда человека обучают водить транспортное средство, ему кроме правил еще приводят примеры, а после этого дают возмож-ность самому набрать такого рода примеры, посадив человека за руль. Эти примеры помогают человеку дополнить сообщенные ему правила. Но ни одна дорожная ситуация, как правило, не повторя-ется в точности. Для того чтобы пользоваться примерами, необхо-димо уметь обнаруживать сходство текущей ситуации с примерами и их различия. Это можно сделать только в том случае, когда опре-делено сходство использованных понятий. Если мы скажем будущему водителю: "Выбоину по мокрой глинистой дороге лучше объехать", но теперь он едет не по дороге, а по болоту и перед ним не выбо-ина, а естественная ямка, заполненная водой, то водитель вос-пользуется советом на основании сходства выбоины и ямки. Для то-го чтобы подобным образом мог действовать робот, ему нужно уметь на всех уровнях обработки информации улавливать сходство различ-ных элементов обрабатываемой информации. Этому процессу мешает тот факт, что имена понятий всюду оказываются оторванными от их содержимого. У самих слов "выбоина" и "ямка" нет ничего общего, если не обратиться к их содержимому. Но обратившись к их описа-нию, в котором используются другие понятия, нам потребуется най-ти сходство и этих понятий, входящих в описание. Количество тре-буемых для этого операций нарастает, как снежный ком, поэтому практически сходство различных понятий в реально существующих системах искусственного интеллекта либо полностью игнорируется, либо учитывается чисто формально через списки синонимов. Эта ут-рата способности к быстрому определению сходства приводит к то-му, что несмотря на все призывы использовать в системах искусст-венного интеллекта рассуждения по аналогии, такие рассуждения используются очень мало, хотя хорошо известно, что в практичес-кой деятельности человека они являются едва ли не основным видом рассуждений.

1.3. Представление информации в АП-структурах

Предлагаемые нами АП-структуры созданы для того, чтобы в системах искусственного интеллекта можно было ликвидировать раз-рыв между содержимым понятия и его именем, что позволит разрабо-тать эффективные процедуры "рассуждений" по аналогии и использо-вания опыта, накопленного в форме примеров.

Основная идея заключается в том, что в АП-структурах все элементы, имеющие какой-либо содержательный смысл, кодируются различными подмножествами нейронов. Любой признак, любой объект, понятие, отношение между объектами, описание сцены, содержание фразы, текста - все они имеют в АП-структуре свое представитель-ство в виде соответствующих подмножеств нейронов. Для элементов информации на самых нижних уровнях (признаков, элементарных дей-ствий робота и т.п.) соответствующие подмножества выбираются при помощи случайной процедуры, а элементы более высоких уровней строятся по определенным правилам из подмножеств нижних уровней. Так, если объект может быть описан набором признаков, то в сос-тав соответствующего ему подмножества войдут представители тех признаков, которые входят в набор. Если сцена может быть описана набором составляющих ее объектов и отношений между ними, то код этой сцены будет составлен из представителей соответствующих об-ъектов и отношений. Специальные процедуры позволяют учесть пос-ледовательность формирования сложного кода из более простых сос-тавляющих, что дает возможность формировать нейронные подмножес-тва, соответствующие словам, из кодов составляющих их букв, ко-дировать фразы по составляющим словам и т.д.

Как уже говорилось выше, АП-структуры строятся из ассоциа-тивных нейронных полей, связанных между собой проективными свя-зями. Ассоциативные поля имеют внутренние ассоциативные связи между нейронами, изменяющиеся при обучении. Они и позволяют фор-мировать нужные для работы подмножества нейронов - нейронные ан-самбли. Проективные связи не изменяются в процессе обучения се-ти, а устанавливают взаимно однозначное соответствие между ней-ронами различных ассоциативных полей и передают возбуждение из одного поля в другое согласно этому однозначному соответствию. Схематически АП-структура показана на рис.1.1.

*-----*

/╕\ /╕\ AF2

/ ╕ \ / ╕ \

*--+--*--+--*

╕ ╕ ╕ ╕ ╕

╕ ╕ ╕ ╕ ╕

╕ *--+--* ╕

╕ / \ ╕ / \ ╕ AF1

╕/ \╕/ \╕

*-----*-----*

Рис.1.1 Схематическое изображение АП-структуры

Для того чтобы эффективно работать с представлением инфор-мации в форме подмножеств нейронов, необходимо выполнить нес-колько условий. Во-первых, процессы кодирования и декодирования должны быть взаимно обратимыми. Если какая-либо процедура соби-рает составной код из более простых кодов, то должна существо-вать процедура, восстанавливающая простые коды по составному. Во-вторых, при переходе к кодам более высоких уровней размеры кодирующих подмножеств не должны сильно увеличиваться (во всяком случае, они не должны расти экспоненциально в зависимости от уровня). Отсюда следует вывод, что более простые составляющие посылают в составной код только часть своих элементов в качестве представителей. В-третьих, подмножество нейронов, кодирующее лю-бой информационный элемент, должно в процессе работы нейронной сети вести себя как единое целое, т.е. все входящие в него ней-роны должны, как правило, возбуждаться одновременно, а нейроны, принадлежащие другим подмножествам, во время такого возбуждения должны быть неактивными. В противном случае было бы очень сложно установить, какие процессы происходят в сети.

Для выполнения всех названных условий АП-структуры строятся таким образом, чтобы каждое кодирующее подмножество нейронов об-разовывало нейронный ансамбль. Нейронным ансамблем называют та-кое подмножество нейронов, внутри которого между нейронами су-ществует большое количество взаимно возбуждающих связей. В таком ансамбле достаточно возбудить только часть нейронов, и в резуль-тате распространения возбуждения по связям он возбудится весь. Поскольку каждый из нейронов может входить во много разных ан-самблей, процесс возбуждения охватит всю сеть, если не принять специальные меры по регулированию уровня общей активности нейро-нов сети. В АП-структурах используются регуляторы активности, которые поддерживают число одновременно возбужденных нейронов на уровне, приблизительно соответствующем размеру одного нейронного ансамбля.

1.4. Некоторые свойства нейронных ансамблей

Наличие внутриансамблевых взаимно возбуждающих связей и об-щего тормозящего воздействия регулятора активности сети приводит к целому ряду явлений, которые используются в работе АП-струк-тур. Первое можно условно назвать выделением ансамбля из шума. Пусть в какой-то момент времени оказались возбужденными некото-рые нейроны, принадлежащие ансамблю (на рис.1.2,а это нейроны внутри квадрата), но одновременно возбудились и случайные нейро-ны, не принадлежащие ансамблю, - "нейронный шум". Тогда за счет внутриансамблевых связей они начнут возбуждать и другие нейроны, принадлежащие ансамблю. Однако регулятор активности нейронной сети препятствует появлению большого числа возбужденных нейро-нов, поэтому увеличение их количества в ансамбле сопровождается снижением числа возбужденных нейронов вне его (рис.1.2,б). Этот процесс приводит к тому, что в конце концов останутся возбужден-ными только те нейроны, которые принадлежат ансамблю (рис.1.2,в).

* * *

+------+ * +------+ +-----+

╕ * * ╕ * ╕ *** ╕ * ╕*****╕

* ╕ * *╕ * * ╕* ** ╕ * ╕*****╕

╕ * * ╕ * ╕*** * ╕ ╕*****╕

+------+ +------+ +-----+

* * *

а б в

Рис.1.2. Выделение ансамбля из шума

Если в начальный момент времени возбужденными окажутся группы нейронов, принадлежащих различным ансамблям (рис.1.3,а), то между ансамблями начнется конкуренция за возбуждение, пос-кольку регулятор активности не может допустить, чтобы возбужден-ными оказались одновременно два ансамбля. Эта конкуренция в ко-нечном итоге приводит к возбуждению одного ансамбля, тогда как нейроны остальных ансамблей оказываются заторможенными (рис.1.3,б).

+-----------------+ +-----------------+

╕* * ╕ * ╕* ** ╕ ╕ ╕ ╕*****╕

╕ * ╕ * ╕ * *╕ ╕ ╕ ╕*****╕

╕ * ╕ * *╕ * * ╕ ╕ ╕ ╕*****╕

+-----------------+ +-----------------+

а б

Рис.1.3. Конкуренция ансамблей за возбуждение

Конкуренция ансамблей используется для организации взаимо-действия различных иерархических уровней. Пусть мы имеем нейрон-ные ансамбли, соответствующие признакам некоторого объекта, и перед нами стоит задача сформировать ансамбль, соответствующий объекту, но так, чтобы при возбуждении ансамбля-объекта нейрон-ная сеть могла полностью восстановить те признаки, которыми опи-сывается объект.

Разместим ансамбли-признаки в одном нейронном поле - поле признаков, а ансамбли-объекты - в поле объектов (рис.1.4). Будем считать, что поле объектов и поле признаков связаны друг с дру-гом проективными связями, т. е. каждый нейрон из поля признаков может передавать возбуждение одному нейрону из поля объектов и получать возбуждение от этого же нейрона. Проективные связи име-ют одинаковые веса, не изменяющиеся в процессе обучения. Внутри каждого из полей все нейроны связаны между собой ассоциативными связями. Веса ассоциативных связей между одновременно возбужден-ными нейронами увеличиваются, что и приводит к формированию ней-ронных ансамблей.

+---------------------+ +---------------------+

╕ +-------+ ╕ ╕ ╕

╕ ╕ А ╕ ╕ ╕ ╕

╕ ╕ ╕ ╕ ╕ +-------+ ╕

╕ ╕*** ***╕ ╕ ╕ ╕*** ***╕ ╕

╕ +---------------+ ╕--------->╕ ╕ АВС ╕ ╕

╕ ╕ ***╕*** ╕ ╕<---------╕ ╕*** ***╕ ╕

╕ ╕ ***╕*** ╕ ╕ ╕ ╕*** ***╕ ╕

╕ ╕ В ╕ С ╕ ╕ ╕ +-------+ ╕

╕ +---------------+ ╕ ╕ ╕

╕ Поле признаков ╕ ╕ Поле объектов ╕

+---------------------+ +---------------------+

Рис.1.4. Формирование ансамбля-объекта из ансамблей-признаков

Ниже будет описан механизм, позволяющий отбирать только часть возбужденных нейронов из ансамблей-признаков для передачи возбуждения в поле объектов (на рисунке эти нейроны отмечены звездочками). Из соответствующих им нейронов в поле объектов и будет сформирован ансамбль-объект АВС. Рассмотрим процесс "рас-шифровки" ансамбля по составляющим признакам. Как только ансам-бль АВС возбудится, по проективным связям возбуждение будет пе-редано в поле признаков, в котором возбудятся нейроны, отмечен-ные на рис.1.4 звездочками. Как уже было сказано, в сети не мо-гут устойчиво существовать сразу несколько возбужденных ансамб-лей, между ними начинается конкуренция, которая приводит к тому, что возбужденным оказывается только один из них. Пусть это будет ансамбль А (рис.1.5,а). В сети предусматривается механизм (кото-рый будет описан ниже), позволяющий после возбуждения ансамбля заблокировать его нейроны так, что некоторое время они не смогут возбуждаться. Поскольку из поля объектов продолжает поступать возбуждение на часть нейронов в ансамблях-признаках, а нейроны ансамбля А заблокированы, картина возбуждения нейронов получится такой, как показано на рис.1.5,б. Теперь уже только ансамбли В и С продолжат конкуренцию за возбуждение и в результате возбудится один из них (рис.1.5,в). После того, как будут заблокированы и его нейроны, поле объектов будет возбуждать только часть нейро-нов последнего ансамбля (рис.1.5,г) и он возбудится уже без вся-кой конкуренции (рис.1.5,д).

+-------------------+ +-------------------+ +-------------------+

╕ +-------+ ╕ ╕ +-------+ ╕ ╕ +-------+ ╕

╕ ╕***A***╕ ╕ ╕ ╕...А...╕ ╕ ╕ ╕...А...╕ ╕

╕ ╕*******╕ ╕ ╕ ╕.......╕ ╕ ╕ ╕.......╕ ╕

╕ ╕*******╕ ╕ ╕ ╕.......╕ ╕ ╕ ╕.......╕ ╕

╕ +---------------+ ╕ ╕ +---------------+ ╕ ╕ +---------------+ ╕

╕ ╕ ╕ ╕ ╕ ╕ ╕ ***╕*** ╕ ╕ ╕ ╕*******╕ ╕ ╕

╕ ╕ ╕ ╕ ╕ ╕ ╕ ***╕*** ╕ ╕ ╕ ╕*******╕ ╕ ╕

╕ ╕ B ╕ C ╕ ╕ ╕ ╕ В ╕ С ╕ ╕ ╕ ╕*В*****╕ С ╕ ╕

╕ +---------------+ ╕ ╕ +---------------+ ╕ ╕ +---------------+ ╕

+-------------------+ +-------------------+ +-------------------+

а б в

+-------------------+ +-------------------+

╕ +-------+ ╕ ╕ +-------+ ╕

╕ ╕...А...╕ ╕ ╕ ╕...А...╕ ╕

╕ ╕.......╕ ╕ ╕ ╕.......╕ ╕

╕ ╕.......╕ ╕ ╕ ╕.......╕ ╕

╕ +---------------+ ╕ ╕ +---------------+ ╕

╕ ╕.......╕*** ╕ ╕ ╕ ╕.......╕*******╕ ╕

╕ ╕.......╕*** ╕ ╕ ╕ ╕.......╕*******╕ ╕

╕ ╕.В.....╕ С ╕ ╕ ╕ ╕.В.....╕*****С*╕ ╕

╕ +---------------+ ╕ ╕ +---------------+ ╕

+-------------------+ +-------------------+

г д

Рис.1.5. Расшифровка ансамбля-объекта по признакам

В описанном случае порядок, в котором возбуждаются призна-ки, не определен. Все зависит от конкуренции, а условия прибли-зительно равны. Однако можно сформировать структуру ансамбля-об-ъекта таким образом, чтобы условия конкуренции были неравными. Тогда расшифровка ансамбля будет происходить всегда в одной и той же последовательности. Можно сделать так, чтобы расшифровка происходила в той же последовательности, в которой возбуждались ансамбли признаки во время формирования ансамбля-объекта. Это бывает очень важно при работе с текстами, с речевой информацией, при управлении действиями робота и в других случаях.

Самыми нижними уровнями нейроподобной сети, имеющей АП-структуру, служат нейронные поля, в которых сформированы входные и выходные ансамбли. Пусть требуется разработать сеть, имеющую n входов и m выходов. Если входы и выходы представлены двоичными переменными, то процедура их кодирования может быть очень простой. Для кодирования входов можно выбрать наугад n подмножеств нейронов во входном нейронном поле и сформировать соответствующие нейронные ансамбли (установить между нейронами в пределах каждого подмножества возбуждающие связи). Затем надо ввести сведения о выбранных подмножествах в память кодирующего устройства с тем, чтобы при появлении сигнала на любом из входов кодирующее устройство возбуждало во входном нейронном поле соот-ветствующее подмножество нейронов. Если в такой системе на входе появляется одновременно несколько сигналов, то множество возбуж-денных нейронов будет соответствовать объединению составляющих подмножеств. Это упрощенный способ кодирования входных сигналов, в дальнейшем мы опишем более совершенные, пригодные для ввода не только двоичных, но и других числовых переменных.

Для кодирования выходных данных также выбирается m случай-ных подмножеств, на базе которых в выходном нейронном поле фор-мируются соответствующие ансамбли. Эти подмножества хранятся в памяти дешифратора выходных сигналов, он сравнивает распределе-ние возбуждений в выходном нейронном поле, сложившееся в резуль-тате работы сети, с соответствующими подмножествами в своей па-мяти и выбирает те подмножества, которые имеют наибольшее сходс-тво с текущим распределением возбуждения. Эта процедура может быть выполнена при помощи достаточно простой нейроподобной сети, у которой в матрице связей в качестве столбцов используется ха-рактеристическая функция кодирующих выходных подмножеств. Для получения недвоичной величины выходного сигнала можно использо-вать либо меру близости множества возбужденных в текущий момент нейронов с кодирующим подмножеством, либо другие более сложные методы, которые будут описаны в дальнейшем. В самом общем виде АП-структура нейроподобной сети для решения какой-либо задачи представлена на рис.1.6.

+--------------------------------+

╕ Верхние ╕

╕ уровни ╕

╕ сети ╕

+--------------------------------+

╕╕ ╕╕

╕╕ ╕╕

+----------+ +-------------+ +-------------+ +------------+

╕Кодирующее╕ ╕Поле входных ╕ ╕Поле выходных╕ ╕Декодирующее╕

╕устройство╕-->╕нейронных ан-╕ ╕нейронных ан-╕-->╕устройство ╕

╕ ╕ ╕самблей ╕ ╕самблей ╕ ╕ ╕

+----------+ +-------------+ +-------------+ +------------+

Рис.1.6. Общая схема нейроподобной сети. Входы и выходы

Рассмотрим подробнее процесс формирования ансамблей-объек-тов по наборам описывающих признаков. Пусть нам требуется опи-сать такие объекты как поле, покрытое травой, опушка леса, от-дельно стоящее дерево, болото, заросшее камышом, и т.п. Все эти объекты воспринимаются системой технического зрения, которая умеет выделять цветовые признаки, различать текстуры, выделять признаки формы. Нетрудно убедиться, что перечисленные объекты будут иметь целый ряд общих признаков (основной цвет - зеленый, основная текстура содержит большое количество микроконтуров и т.д.). В процессе формирования ансамблей те признаки, которые встречаются у всех объектов указанного класса, будут связываться между собой связями, гораздо более сильными, чем остальные приз-наки, характеризующие индивидуальные объекты. Говорят, что при этом формируется ядро ансамбля.

Структурно ядро ансамбля можно выделить как подмножество нейронов, между которыми установлены особенно сильные возбуждаю-щие связи. Функционально ядру соответствует то общее, что объе-диняет многие объекты в один класс. Нетрудно убедиться, что та-кой процесс выделения ядер происходит естественно, без какой-ли-бо привнесенной системы классификации. В нейроподобной сети воз-никает достаточно сложная структура, в которой можно обнаружить "сильные" ядра с большим количеством сильных возбуждающих свя-зей, "слабые" ядра, в которых возбуждающих связей меньше и они слабее, а также все промежуточные виды ядер. Так, зеленый цвет и большое количество микроконтуров могут образовать достаточно вы-раженное ядро, характерное для растительных покровов. Если взять большее количество признаков, например, признаки формы, то можно выделить подклассы объектов, например, подкласс деревьев. Этот подкласс также характеризуется некоторым ядром, включающим в се-бя ядро класса, но в среднем нейроны подкласса связаны друг с другом уже слабее, чем нейроны класса. Расширяя набор признаков (т.е. количество нейронов в рассматриваемом ансамбле), можно дойти до представления конкретных объектов.

Таким образом, нейроподобная сеть формирует гибкую класси-фицирующую структуру, в которой более общим классам соответству-ют меньшие по размерам ядра с более сильными межнейронными воз-буждающими связями. Это позволяет за счет изменения параметров регулятора активности сети динамично изменять уровень общности обрабатываемой информации во время работы нейроподобной сети. Если нам надо оперировать с такими общими представлениями, как растительный или каменистый покров, то регулятор активности надо установить на режим, допускающий малое количество одновременно возбужденных нейронов. Если же нам важно знать, что именно перед нами - кустарник или трава, то регулятор активности должен поз-волить возбудиться большему количеству нейронов, чтобы к основ-ному ядру добавились конкретизирующие признаки. Формирование яд-ра ансамбля схематически показано на рис.1.7.

+--------------+

╕ Кустарник ╕

++--------------+----------+

+------++-----------+ ╕ ╕

╕ ╕╕ Раститель-╕ ╕ Болото ╕

╕ ╕╕ ный покров╕ ╕ ╕

╕ +------------+-------------+

╕ Луг ╕

+-------------------+

Рис.1.7 Формирование ядра ансамбля

Таким образом, в АП-структурах имеется два типа иерархичес-ких отношений. Иерархия родо-видовых отношений (типа объект х принадлежит классу объектов Х) реализуется в виде внутренней структуры ансамбля: ансамбль в самом расширенном представлении соответствует объекту; более узкое нейронное представительство - подклассу; еще более узкое ядро - классу. Можно выделять и более высокие уровни иерархии этого типа. В действительности, сложная внутренняя структура нейронного ансамбля дает возможность пост-роить практически непрерывный ряд иерархических переходов, и только для удобства присвоения имен и дальнейшей работы в языко-вых контекстах имеет смысл выделить несколько градаций, к кото-рым в дальнейшем будут относиться иерархические уровни в ро-до-видовой иерархии. Все иерархические уровни этого типа для од-нородных объектов располагаются в одном и том же ассоциативном поле, т.е. формально, с точки зрения самой АП-структуры, они располагаются на одном и том же уровне иерархии.

Второй тип иерархии связан с представлением отношений типа "часть - целое" и реализуется в АП-структурах при переходе из одного ассоциативного поля в другое, на основе проективных свя-зей. Примером такого типа иерархии может служить формирование ансамбля-слова из ансамблей-букв, ансамбля-сцены из ансамб-лей-объектов и ансамблей-отношений и т.п.

1.5. Различные сферы обработки информации в нейроподобной сети.Идентификаторы

АП-структуры позволяют построить нейроподобные сети, имею-щие различные сферы обработки информации. Поясним это на примере гипотетической системы управления подвижным роботом (рис.1.8). Она должна воспринимать информацию, поступающую от разных типов датчиков: визуальных, тактильных, звуковых, внутренних (датчиков состояния различных подсистем робота и положения его рабочих ор-ганов, например, манипулятора). Информация может поступать также в каких-либо кодах от человека, других роботов или автоматичес-ких устройств по каналам связи.

+----------+ +------------+ +----------+

╕1.Сфера ╕ ╕ Сфера ╕ ╕ Сфера ╕

• >╕зрительных╕------+ ╕формирования╕ ╕ оценки ╕

╕образов ╕ ╕ ╕ целей ╕ ╕ действий ╕

+----------+ ╕ +------------+ +----------+

╕ +----------+ +--------+

+----------+ ╕ +-----------+

╕2.Сфера ╕ ╕ ╕ Сфера ╕

• >╕внутренних╕---+ ╕ +-------╕ высших ╕-----+

╕состояний ╕ ╕ ╕ ╕ ╕ уровней ╕ ╕

+----------+ ╕ ╕ ╕ +-----------+ ╕

╕ ╕ ╕ ╕ ╕

+----------+ ╕ +---+-----------+ ╕ +------------+

╕3.Сфера ╕ +------╕Сфера муль-╕ ╕ ╕ Сфера ╕

• >╕тактильных╕ ╕тимодаль- ╕-------+-----╕двигательных╕-->

╕образов ╕----------╕ных образов╕ ╕ ╕стереотипов ╕

+----------+ +-----+-----------+ ╕ +------------+

╕ ╕ ╕ ╕

+----------+ ╕ ╕ +-----------+ ╕

╕4.Сфера ╕ ╕ +-------╕ Сфера ╕ ╕

• >╕слуховых ╕----╕ ╕ понятий ╕-----+

╕образов ╕ ╕ +-------╕ ╕

+----------+ ╕ ╕ +-----------+

╕ ╕

+----------+ ╕ +-----------+

╕5.Сфера ╕ +-----╕ Речевая ╕

• >╕сигнальных╕----------╕ сфера ╕

╕каналов ╕ ╕ ╕

+----------+ +-----------+

Рис.1.8 Блок-схема АП-структуры для управления подвижным роботом

Робот имеет исполнительные органы в виде манипулятора и средств перемещения. К исполнительным органам можно отнести и формирователи сигналов, которые робот посылает оператору или не-которым автоматическим устройствам.

Система управления роботом представлена в виде ассоциатив-но-проективной нейроподобной сети, имеющей входные нейронные по-ля. В них формируются ансамбли, соответствующие различным приз-накам, а также выходное нейронное поле, в котором формируются ансамбли, соответствующие различным действиям робота (например, может быть ансамбль типа "Переместиться на шаг вперед, перевести манипулятор в начальное положение и сформировать сообщение о го-товности"). Схема на рис.1.8 отражает лишь основные взаимосвязи между сферами обработки информации. Из ансамбле-признаков, сфор-мированных и распознанных в сферах зрительных образов, внутрен-них состояний, тактильных образов и слуховых образов, представи-тели передаются в сферу мультимодальных образов, где формируются образы реальных объектов на основе данных от датчиков различных модальностей. После того как ансамбли, соответствующие образам объектов, сформированы, робот может распознавать сами объекты.

Из сферы слуховых образов признаки поступают в речевую сфе-ру, где формируются ансамбли, соответствующие словам, словосоче-таниям, фразам. В эту же сферу поступают признаки для кодирова-ния сигналов, передаваемых по каналам связи с роботом. Такие сигналы могут в частности соответствовать буквам алфавита и из них также могут формироваться ансамбли, соответствующие словам, словосочетаниям и т.д.

В сфере двигательных стереотипов формируются ансамбли, со-ответствующие стереотипным комбинациям элементарных действий. Далее представители ансамблей-стереотипов поступают в сферы выс-ших уровней, мультимодальных образов и понятий, в которых двига-тельные стереотипы ассоциативно связываются с другими ансамбля-ми, что в конечном итоге позволяет организовать двигательное по-ведение робота.

В сфере мультимодальных образов формируются ансамбли, соот-ветствующие восприятию роботом объектов внешнего мира. Например, в образ станка могут входить как визуальные признаки этого стан-ка, так и характерные его звуки, тактильные ощущения от прикос-новения к рукояткам и кнопкам, а также признаки положения рабо-чих органов самого робота при его работе на станке.

Формирующиеся в сфере мультимодальных образов ансамбли по-сылают своих представителей в сферу понятий. Туда же поступают представители ансамблей-слов и ансамблей-двигательных стереоти-пов. На базе всех этих представителей формируются ансамбли-поня-тия. Так, в понятие "станок" может входить мультимодальный образ станка, само слово "станок" и возможные движения, которые необ-ходимы при работе на станке. Здесь уже имя (слово "станок") не-разрывно связывается с образом станка и дальнейшее оперирование такими комплексными понятиями существенно отличается от работы с одними только именами. Однако в любой момент времени содержание такого комплексного понятия может быть расшифровано за счет пе-редачи возбуждения из сферы понятий обратно в сферы двигательных стереотипов, мультимодальнных образов и в речевую сферу.

Представители различных комплексных понятий группируются и передаются в сферу высших уровней для формирования ансамблей, соответствующих отношениям между понятиями, ансамблей-сцен и других более сложных структур. С этой сферой связаны две области очень важные для любой системы искусственного интеллекта - сфера формирования целей и сфера оценки действий робота. Первая играет большую роль в принятии решений и планировании действий робота, а вторая необходима для его самообучения.

Следует еще раз подчеркнуть, что внутри каждой сферы ней-ронные ансамбли формируются за счет существования ассоциативных полей с изменяемыми синаптическими связями между нейронами, а обмен информацией между сферами осуществляется исключительно при помощи проективных связей, имеющих неизменную структуру и синап-тические веса.

1.6. Возможные виды обучения АП-структуры


Обучение АП-структуры может происходить в нескольких режи-мах. Самый простой - это о б у ч е н и е н а п р и м е р а х, когда поступающие на входы сигналы используются специально для того, чтобы сформировать в соответствующих сферах ансамбли, ко-торые потребуются роботу в дальнейшем. В этом случае сфера оцен-ки действий роботу не нужна, поскольку заранее известно, что предъявляемые образы нужно запоминать, формируя соответствующие им нейронные ансамбли.

Приведем фрагмент обучения робота на примерах. Пусть роботу необходимо приобрести навыки обхода препятствий. Поместим его в среду, содержащую препятствия, и установим режим формирования ансамблей в сферах восприятия признаков (сферы 1-4), в сфере двигательных стереотипов и в сфере мультимодальных образов. Пос-ле этого, управляя роботом вручную, начнем формирование необхо-димых ансамблей. Подъезжая к различным объектам и обнаруживая их при помощи зрения, слуха и тактильных датчиков, робот будет фор-мировать в сфере мультимодальных образов ансамбли-образы объек-тов. В то же самое время будут формироваться и ансамбли-стерео-типы движений, которые через своих представителей будут связы-ваться ассоциативными связями с объектами, объезжаемыми роботом. Эти ассоциативные связи образуются в сфере мультимодальных обра-зов. Если обученный таким образом робот окажется в ситуации с препятствиями, похожими на предыдущие, то их распознавание при-ведет к ассоциативному восстановлению соответствующих двигатель-ных стереотипов, в результате чего робот начнет обходить препят-ствия.

Второй тип обучения - о б у ч е н и е р о б о т а с у ч и т е л е м, который не демонстрирует роботу требующиеся от него реакции и не помещает его в специальные тестовые ситуации, а лишь дает оценку действий в процессе его самостоятельной дея-тельности. Когда робот получает от учителя положительные оценки, у него включается механизм формирования соответствующих ансамб-лей. Когда оценки учителя отрицательные, соответствующие ассоци-ативные связи ослабляются и ансамбли понемногу исчезают. Поэтому в дальнейшем у робота будут работать те ассоциации, которые при-водили его к положительным оценкам, и будет прекращаться работа ассоциаций, приводивших его к неудачам. Это обучение происходит медленнее, но оно не требует тестовой среды.

Третий тип обучения - б е з у ч и т е л я. Обучение проис-ходит по тому же типу, как и во втором случае, но оценки дея-тельности робота формируются в его собственной системе управле-ния и на основании этих оценок включается то или иное правило формирования ансамблей. Заметим, что все перечисленные режимы обучения робота хорошо описаны в литературе.

Четвертый тип обучения - о б у ч е н и е "с о с л о в" - менее известен. В некотором смысле он напоминает ввод априорных знаний в систему управления роботом, но отличается от обычных методов формирования баз знаний. Пусть перед роботом стоит та же задача: научиться обходить препятствия, но ситуация такова, что при обучении нет возможности создать тестовые ситуации, сколь-ко-нибудь полно воспроизводящие будущую обстановку. Однако робо-ту можно предъявить отдельные препятствия (возможно, на фотогра-фиях, в звуковой записи и т.п.), которые будут встречаться в среде. Предъявляя, учитель может одновременно формировать в ре-чевой сфере имена этих препятствий и, заставляя робот выполнять типичные наборы движений, формировать в двигательной сфере ан-самбли стереотипы, сопровождая их формированием в речевой сфере имен стереотипов. Одновременно с этим в сфере понятий будут фор-мироваться ансамбли комплексных понятий, в которые войдут как имена, так и соответствующие им мультимодальные образы. По окон-чании работы учитель может приступить к описанию сцены при помо-щи имен соответствующих объектов, входящих в сцену, и к описанию действий при помощи имен соответствующих двигательных стереоти-пов. При этом в сферах высших уровней будут формироваться ансам-бли, позволяющие установить ассоциации между описанием ситуации и соответствующими действиями, которые роботу необходимо выпол-нить.

Такой тип обучения интересен тем, что в результате получа-ется не только система знаний, собранная из понятий, но и форми-руются образные представления, аналогичные тем, которые возника-ют при действительном погружении робота в тестовую среду. Таким образом возникает не обычная система правил работы с символьными выражениями, а целостная система представлений о среде и о пове-дении в этой среде.

1.7. Различия между двумя нейронными ансамблями. Выделение отношений


Ансамбли, сформированные из представителей различных приз-наков, могут быть близкими между собой, отличаться друг от друга или не иметь ничего общего. В качестве меры близости можно при-нять количество общих нейронов, входящих в эти ансамбли. Как правило, оно пропорционально количеству общих признаков у соот-ветствующих объектов, поэтому такая мера не противоречит интуи-тивному понятию сходства объектов. Таким образом, сходным объек-там в АП-структурах соответствуют близкие ансамбли.

Для определения близости двух ансамблей в АП-структурах предусматриваются специальные нейронные поля, объединяемые про-ективными связями таким образом, что в них вычисляются теорети-ко-множественные операции пересечения множеств нейронов, теоре-тико-множественной разности и др. Такие нейронные поля позволяют быстро установить сходство и различие двух нейронных ансамблей на любом уровне обработки информации. При этом не требуется вы-полнять поиск по дереву признаков, поскольку любой ансамбль кро-ме своего имени несет в себе и информацию о всех составляющих признаках.

Теоретико-множественные операции над ансамблями позволяют определять различные отношения между ними. Выше уже было сказано об отношении сходства, аналогично определяется отношение разли-чия. Ансамбль А отличается от ансамбля В, если в его состав вхо-дят нейроны, не принадлежащие ансамблю В. Чтобы определить со-держательный смысл отношения различия нужно от выделенного подм-ножества нейронов по проективным связям передать возбуждение на ассоциативные поля более низких уровней и по возбудившимся там ансамблям-признакам установить, какие именно признаки ансамбля А отсутствуют в ансамбле В. Аналогично определяется содержательный смысл сходства ансамблей.

Многие конкретные отношения устанавливаются по содержатель-ному смыслу отношений сходства и различия. Например, отношение родства всегда можно установить по наличию общего родственника. Установить это можно через сходство признаков в двух ансамблях.

Если при помощи возбуждаемых подмножеств нейронов закодиро-вать в отдельном ассоциативном поле теоретико-множественные опе-рации, которые были использованы для установления отношения двух объектов, то в этом поле само отношение можно представить в виде нейронного ансамбля. Для формирования такого ансамбля, кроме ко-да теоретико-множественных операций, приведших к установлению отношения, в ассоциативное поле отношений надо подать возбужде-ние от представителей выделенного подмножества нейронов (опреде-ляющих сходство или различие). Например, если выполнена операция пересечения множеств для ансамблей, описывающих двух людей, и общие нейроны оказались соответствующими признакам матери и от-ца, то в поле отношений эти признаки вместе с кодом операции пе-ресечения множеств позволяют сформировать отношение "быть братом или сестрой". В ансамбль такого отношения могут быть введены представители соответствующего слова или словосочетания, и тогда отношение приобретает имя. Так же, как и в случае описания объ-ектов, это имя в дальнейшем уже не расстается с признаками отно-шения.

В любой момент времени в АП-структуре можно определить сходство или различие двух отношений, выделяя таким образом от-ношения второго и более высоких порядков. Такая структура, поз-воляющая сохранять неразрывность имени с содержательными призна-ками, во многих случаях позволяет вообще не вводить процедур по-иска по деревьям признаков и тем самым снижать требования к быс-тродействию аппаратуры, необходимой для реализации систем искус-ственного интеллекта.

Выше мы говорили, что при работе с ансамблями можно выби-рать уровень подробности описаний объектов, изменяя суммарный уровень активности в ассоциативном поле. Поэтому само по себе отсутствие какого-либо признака в возбужденном ансамбле еще не говорит о его отсутствии у конкретного объекта. Очень часто важ-но указать в явном виде тот факт, что у объекта какой-либо приз-нак отсутствует (например, в морозный день появился человек без шапки; отсутствие шапки является важной характеристикой). Для описания отсутствующих признаков в АП-структурах вводятся комп-лементарные наборы нейронов. Если какому-то признаку соответст-вует некоторое подмножество нейронов, то отсутствию его соответ-ствует точно такое же подмножество в комплементарном наборе ней-ронов.

Обозначим через М ансамбль нейронов, соответствующих чело-веку, а через Н - ансамбль, соответствующий шляпе. Будем обозна-чать возбуждение нейронов из основного набора звездочками, а из комплементарного набора - кружочками. Поскольку пара нейронов из основного и комплементарного наборов никогда не возбуждается од-новременно, будем размещать кружочки на тех же самых местах, что и звездочки, имея однако в виду, что речь идет о других нейронах ассоциативного поля, образующих самостоятельные ассоциативные связи. Тогда ансамбли, соответствующие человеку в шапке и чело-веку без шапки, формируются так, как показано на рис.1.9.

+----------+ +----------+

╕ H ╕ ╕ H ╕

╕ ╕ +----------+ ╕ ╕ +----------+

╕ ******** ╕ ╕ ******** ╕ ╕ oooooooo ╕ ╕ oooooooo ╕

╕ ******** ╕ ╕ ******** ╕ ╕ oooooooo ╕ ╕ oooooooo ╕

+----------╕--->╕ M + H ╕ +----------╕--->╕ M - H ╕

╕ ******** ╕ ╕ ******** ╕ ╕ ******** ╕ ╕ ******** ╕

╕ ******** ╕ ╕ ******** ╕ ╕ ******** ╕ ╕ ******** ╕

╕ ╕ +----------+ ╕ ╕ +----------+

╕ M ╕ ╕ M ╕

+----------+ +----------+

a б

Рис.1.9 Формирование ансамблей с противоположными признаками:

а - "Человек в шапке"; б - "Человек без шапки"

Нейроны комплементарных наборов связаны между собой проек-тивными взаимно тормозящими связями. Именно эти связи не дают возможности двум комплементарным нейронам возбудиться одновре-менно.

1.8. Учет контекста в АП-структурах

Тот факт, что в АП-структурах имена объектов и отношений всегда неразрывно связаны с соответствующими признаками, значи-тельно облегчает решение проблемы влияния контекста на смысл текстовых сообщений. Рассмотрим пример, в котором текстовая фра-за может трактоваться двусмысленно. "Мэри потеряла голову". Пер-вый смысл этой фразы изображен на рис.1.10,а.

O

• o /╕\

/╕\ /╕\ /╕\ _/ ╕ ╕

╕ I \ ╕ I \ ╕ I \_ / \

/ \ / \ / \ / \

o /_ \_ /_ \_ /_ \_ _/ _\

а б в

Рис.1.10 Влияние контекста на смысл фразы

Если бы в нашей системе имена были оторваны от признаков, то ничто не помешало бы нам трактовать смысл фразы именно так, как показано на рис.1.10,а. Выявить бессмысленность такой трак-товки можно, добавив ряд правил специально для этого случая (ти-па "человек не может расстаться с головой и не заметить этого"). Если же мы собираемся работать с тысячами и десятками тысяч не-однозначно трактуемых фраз, то правил для их расшифровки нужно необозримое множество. Возможен другой подход - попытаться по именам отыскать все составляющие признаки объектов и отношений и таким образом реконструировать ситуацию. В системах, где имена не сопровождаются признаками это сделать нелегко. В АП-структуре при упоминании имени Мэри будут практически мгновенно воспроиз-ведены основные признаки Мэри (рис.1.10,б), в том числе голова, поскольку этот признак несомненно входит в ядро соответствующего ансамбля. При появлении слова "потеряла" будут одновременно воз-буждены признаки этого слова, в том числе отсутствие того объек-та, к которому относится слово. Это приведет к возбуждению ней-ронного ансамбля, связанного с ансамблем "голова" комплементар-но, т.е. взаимно тормозными связями. В результате ансамбль, со-ответствующий ситуации, показанной на рис.1.10,а, получит малое входное возбуждение. К счастью, в сети существует другой конку-рирующий ансамбль, описывающий ситуацию, представленную на рис.1.10,в: "Мэри потеряла голову потому, что встретила Джона". На этот ансамбль не оказывается никакого тормозящего воздейст-вия, и поэтому он должен выиграть в конкуренции за возбуждение.

Важно отметить, что описанный выше процесс происходит без перебора вариантов, без "размышлений", а разом, в процессе ассо-циативного восстановления недостающих деталей. Внешне такая сис-тема "не сомневается" в трактовке смысла данной фразы.

Мы разобрали случай, когда в качестве контекста выступают знания, накопленные системой в результате предшествовавшего опы-та. Аналогично происходит учет контекста слов и тогда, когда контекст определяется предыдущей частью текста или окружающей обстановкой. Так, если Мэри потеряла ключ и стоит возле двери, то преимущество при конкуренции за возбуждение будет иметь ан-самбль дверного ключа, поскольку многие его признаки окажутся возбужденными не только от слова "ключ", но и от воспринимаемой обстановки. Если же Мэри находится в поле, хочет пить , но слиш-ком далеко ушла от ключа и не может найти его, то преимущество будет иметь образ родника с признаками холодной воды, окружающих кустиков, травы и др.

Таким образом, АП-структуры в целом ряде случаев позволяют учесть влияние контекста за счет ассоциативных свойств структур, не прибегая к специальным процедурам поиска признаков и анализа контекста.

1.9. Логический вывод


Для выполнения операций логического вывода в сети необходи-мо иметь дополнительные ассоциативные нейронные поля. В обычных ассоциативных нейронных полях формируются ансамбли, отражающие то, что бывает во внешнем мире. Для логического вывода нужны нейронные ансамбли, отражающие то, чего не бывает или не может быть во внешнем мире. Легко убедиться, что обычную конструкцию типа "если...то...", используемую в логических выводах, можно преобразовать в равносильную ей конструкцию, утверждающую, чего не может быть. Пусть, например, задано утверждение: "Если зима будет холодная и длинная, то потребуется немало дров". Вместо этого утверждения можно сказать:"Не может быть, чтобы зима была холодная и длинная и потребовалось мало дров".

Такого рода правила запоминаются в форме ансамблей в допол-нительных ассоциативных полях. Когда ансамбль сформирован, в се-ти легко может быть выполнен соответствующий шаг логического вы-вода. Если на вход дополнительного ассоциативного поля будут по-даны исходные посылки "Зима будет холодная и длинная", то возбу-дится весь ансамбль вместе с утверждением "Потребуется мало дров". Поскольку это дополнительное поле отображает то, чего не может быть, результат нужно инвертировать, т.е. взять высказыва-ние, обратное полученному, что и будет соответствовать правиль-ному логическому выводу.

Есть некоторые особенности, отличающие логический вывод в АП-структурах от принятого в обычных системах метода выполнения логического вывода. В настоящее время очень часто выполнение вы-вода сопровождают вычислением уверенности в том, что вывод будет правильным. Это дает возможность пользоваться правилами, имеющи-ми исключения или недостаточно хорошо проверенными. Таким прави-лам снижается мера доверия. Нетрудно убедиться, что в АП-струк-турах в качестве меры доверия правилу легко можно воспользовать-ся мерой сформированности соответствующего ансамбля (т.е. общим количеством внутриансамблевых возбуждающих связей). Если ан-самбль сформирован лучше (связей больше), то доверие соответст-вующему правилу выше. Это позволяет применить обычные алгоритмы обучения АП-структур для уточнения и изменения доверия к различ-ным правилам. Так, если некоторое правило поступает в систему из нескольких различных источников, то доверие к нему автоматически повышается, поскольку при каждом вводе правила из нового источ-ника увеличиваются синаптические веса внутриансамблевых связей.

АП-структура обладает способностью к обобщению правил в тех случаях, когда эти правила поступают из очень большого числа ис-точников и не полностью совпадают друг с другом. Рассмотрим при-мер. Пусть вместо приведенного выше правила из разных источников поступают сведения приблизительно такого содержания: "Если зима будет длинной и холодной, а печь сложена не слишком удачно, то дров потребуется много", "Если зима будет длинной и холодной, а окна не оклеены, то дров потребуется немало" и т.п. В этих выс-казываниях есть существенные признаки, составляющие ядро прави-ла, но есть и такие, которые не слишком сильно влияют на резуль-тат или редко встречаются в жизни. При формировании ансамбля, соответствующего правилу, можно учитывать только ядро. Нетрудно убедиться, что такое использование правила автоматически расши-ряет сферу его применения. Это обстоятельство может оказаться очень важным при работе с неполной информацией, когда бывает не-возможно в точности применить какое-либо правило из-за недостат-ка данных для подстановки в левые части правил. В таких случаях зачастую все равно выполняют логический вывод на основе неполных данных (так называемый энтимематический вывод), снижая доверие, но в обычных синтаксических структурах совершенно безразлично, каких именно данных не хватает - существенных или несуществен-ных. АП-структура позволяет определить, насколько существенны для выполнения подстановки те данные, которые отсутствуют. Если эти данные входят в ядро ансамбля, то доверие выводу надо сни-жать значительно. Если же данные относятся к бахроме ансамбля, то можно делать вывод, снижая доверие лишь незначительно.

Есть и другая особенность логического вывода в АП-структу-рах, связанная с тем, что имена объектов здесь неразрывны с их содержанием. Если при выполнении подстановки в левой части обоз-начение какого-либо объекта не совпадает с обозначением извест-ного, но объекты похожи друг на друга, то подстановка может быть выполнена, что невозможно при работе с одними именами.

1.10. Принятие решений и планирование действий

При создании систем искусственного интеллекта часто возни-кает необходимость строить системы, способные принимать самосто-ятельные решения и планировать действия. В качестве примера мож-но привести систему управления автономным роботом в сложной сре-де, о которой у робота нет полной априорной информации. Для ана-лиза процесса принятия решений в АП-структурах надо подробнее рассмотреть работу сферы высших уровней, сферы оценки действий и сферы формирования целей. В первой формируются обобщенные образы ситуаций, в которые попадает робот, и сравнительные описания этих ситуаций, в которых определяются общие их характеристики и различия. В этой же сфере строятся образы достаточно сложных последовательностей действий, связанных какой-либо общей целью. Например, автономному роботу, который обнаружил завал на дороге, чтобы пройти дальше, нужно разобрать завал. При этом он должен выполнить большое количество действий. Если в каком-либо ассоци-ативном поле будет сформирован ансамбль, соответствующий этим действиям, а в другом ассоциативном поле - ансамбль, соответст-вующий изменению ситуации до и после расчистки завала (с исполь-зованием разности соответствующих ансамблей-ситуаций), то при помощи проективных связей на новом ассоциативном поле можно соб-рать ансамбль, включающий в себя комплекс выполненных действий и полученное изменение в ситуации. Накопление ансамблей, соотнося-щих действия с изменениями в среде, дает тот ассоциативный ба-зис, на основе которого производится принятие решений и планиро-вание действий.

Следует отметить, что ансамбли, соотносящие действия робота с результирующими изменениями, должны формироваться на всех уровнях - от простейших действий до самых сложных совокупностей, таких, например, как "найти в лесу площадку, удобную для стоянки робота".

В сфере оценки действий робота есть ассоциативное поле, в котором формируются ансамбли, соответствующие критериям его ра-боты. Некоторые из них могут относиться к поддержанию работоспо-собности и целостности самого робота. Исходными данными для фор-мирования таких ансамблей будут служить датчики состояния его подсистем. В этом смысле данное ассоциативное поле аналогично признаковым полям. Однако будут и другие ансамбли, которые про-ектировщик робота пожелает ввести в качестве критериев. Для та-ких ансамблей могут использоваться проекции из любых других сфер. Особенностью поля критериев должно быть то обстоятельство, что оно формируется в основном под полным контролем разработчи-ка. По-видимому, не следует допускать самообучения робота с из-менением связей в этом ассоциативном поле, поскольку это означа-ло бы, что робот со временем начнет действовать не в интересах разработчика, а в своих собственных интересах, какими бы они не оказались.

Попадая в различные ситуации, выполняя различные действия, робот будет одновременно получать возбуждение различных ансамб-лей-критериев, характеризующих оценку ситуаций и действий робо-та. Изменения этих оценок можно передать во все ассоциативные поля, где формируются ансамбли, описывающие внешний и внутренний миры робота. Тогда нейроны-представители таких изменений могут включаться во все ансамбли, характеризуя их с точки зрения улуч-шения или ухудшения по соответствующим критериям. Такие оценоч-ные добавки к ансамблям "привязываются" аналогично именам и в дальнейшем уже не расстаются во всех представительствах ансамб-ля. Эта структура в каком-то смысле аналогична системе, обеспе-чивающей чувственную окраску всех элементов обрабатываемой ин-формации.

В сфере формирования целей создается ассоциативное поле, в котором формируются ансамбли, соответствующие желательным комби-нациям критериев. Это могут быть сравнительно стабильные комби-нации, как например, большой запас энергии, исправность всех подсистем робота, безопасность движения в среде и т.п. Но могут быть и временные, заданные в соответствии с выполняемой в данный момент задачей. Такие ансамбли могут вводиться в сферу формиро-вания целей через речевую сферу. Кроме ассоциативного поля, хра-нящего желательные комбинации критериев, необходимо сформировать поле нежелательных комбинаций, аналогично тому, как в логическом выводе формировалось поле того, что не существует в окружающем мире.

Формирование целей в описанной системе может осуществляться в двух режимах - автоматическом и супервизорном. В супервизорном режиме пользователь или другая автоматическая система в ассоциа-тивном поле желательных комбинаций критериев формирует требуемую комбинацию (надо отметить, что критерием может быть и достижение какой-либо ситуации). Эта введенная комбинация возбуждает один из существующих ансамблей или формирует новый, в результате чего у системы появляется "цель" - достичь требуемого состояния кри-териев. В автономном режиме основным источником целей является поле нежелательных состояний. Если текущая оценка, поступающая из сферы оценки действий, возбуждает какой-либо ансамбль нежела-тельных наборов критериев, то формируется цель деятельности ро-бота аналогично тому, как делается логический вывод. При отсутст-вии нежелательных комбинаций целью может стать ансамбль, соот-ветствующий желательному состоянию, наиболее близкому к текущему состоянию робота.

После выбора цели начинается процесс принятия решения. В простейшем случае он заключается в определении различия между целевой ситуацией и текущей. На основании этого различия в одном из ассоциативных полей должно возбудиться более или менее слож-ное действие, которое ассоциативно связано с ликвидацией этого различия. Поскольку ассоциативная выборка действий строится на основе приближенного сходства требуемого изменения ситуации с тем, которое связано с действием, фактическое применение дейст-вия может еще не дать нужных результатов. Это фактическое изме-нение ситуации можно учесть, введя соответствующие поправки в текущую ситуацию и составляя таким образом прогноз, как изменит-ся ситуация в результате выбранного действия. Полученную ситуа-цию следует опять сравнить с целевой и, вычислив различия, пов-торить весь этап. Такой процесс должен происходить вплоть до достижения достаточно малого различия между целевой и прогнози-руемой ситуациями или до отказа от намерения достичь поставлен-ной цели.

Совокупность полученных действий после совпадения получен-ной ситуации с целевой можно считать принятым решением. Ее же можно считать планом верхнего уровня. Чтобы составить более под-робный план действий, необходимо расшифровать ансамбли, соответ-ствующие сложным наборам действий через более простые ансамбли. На этапе расшифровки нужно проверять совместимость требуемых действий с условиями окружающей среды. Эту совместимость можно проверить в полях, аналогичных полям для логического вывода. Ес-ли где-нибудь обнаружится несовместимость, необходимо скорректи-ровать план.

Таким образом, мы рассмотрели некоторые особенности приме-нения АП-структур для решения задач искусственного интеллекта. Наше описание было неформальным, поскольку в этой главе мы ста-вили цель дать только общее представление о работе АП-структур. Более точно эти структуры будут описаны в следующих главах.


---