С математической точки зрения обучение нейронных сетей (НС) - это многопараметрическая задача нелинейной оптимизации. В классическом методе обратного распространения ошибки (single-режим) обучение НС рассматривается как набор однокритериальных задач оптимизации. Критерий для каждой задачи - качество решения одного примера из обучающей выборки. На каждой итерации алгоритма обратного распространения параметры НС (синаптические веса и смещения) модифицируются так, чтобы улучшить решение одного примера. Таким образом, в процессе обучения циклически решаются однокритериальные задачи оптимизации.
Опыт показывает, что при одиночном предъявлении примеров обучение происходит медленно и неустойчиво. Оценки за решаемые примеры то падают, то вновь растут, возможны длительные колебания, в некоторых случаях алгоритм не сходится вообще.
Если примеры предъявляются по одному, то шаг изменения параметров для улучшения решения одного примера должен быть достаточно малым. Иначе навык работы с другими примерами необратимо разрушится. Поэтому в этом случае нет смысла применять быстросходящиеся методы, дающие значительное улучшение.
Из теории оптимизации следует, что при решении многокритериальных задач модификации параметров следует производить, используя сразу несколько критериев (примеров), в идеале - все. Тем более нельзя ограничиваться одним примером при оценке производимых изменений значений параметров.
Для учета нескольких критериев при модификации параметров используют агрегированные или интегральные критерии, которые в могут быть, например, суммой, взвешенной суммой или квадратным корнем от суммы квадратов оценок решения отдельных примеров.
Из априорных соображений при модификациях параметров лучше использовать сразу все примеры. Однако, здесь есть ограничения:
Поэтому приходим к принципу постраничного обучения.
Страница - серия примеров, предъявляемая сети для обучения. Модификации
параметров сети осуществляется, исходя из всех примеров страницы.
Содержимое первой страницы. Первую страницу рекомендуется формировать из реперных (опорных) примеров, характеризующих особенности функции, которую должна будет реализовывать обученная нейронная сеть. Например, если сеть обучают классифицировать образы, то в первую страницу рекомендуется включить наиболее ярких представителей каждого класса.
Изменение объема страниц в процессе обучения. В ходе обучения объем страницы и разнообразие примеров на ней можно увеличить: совсем необученная сеть слишком медленно учится на больших страницах, а после "начального образования" появляются возможности для быстрого освоения все больших страниц.
Распределение примеров по страницам. Важно,
чтобы каждая страница была достаточно разнообразной и в ней присутствовали
представители разных классов.
Эксперименты показывают, что постраничное обучение
в задачах распознавания визуальных образов и классификации дает выигрыш
не менее, чем в 10-100 раз при прочих равных.
Горбань А.Н. Обучение нейронных сетей. М.: СП ПараГраф. 1990.
|
При использовании информации, находящейся на данной странице,
вы обязаны ссылаться на следующую работу:
Отчет по научно-исследовательской работе "Создание аналитического обзора информационных источников по применению нейронных сетей для задач газовой технологии"; Копосов А.И., Щербаков И.Б., Кисленко Н.А., Кисленко О.П., Варивода Ю.В. и др., ВНИИГАЗ, 1995. |