(1)
машина Больцмана.
Другие названия: ---.
Машина Больцмана была предложена и исследовалась во второй половине 1980-х годов.
Этапы больцмановского обучения:
1. Определить переменную T, представляющую искусственную температуру.
2. Предъявить сети множество входов и вычислить выходы и целевую функцию.
3. Дать случайное изменение весу и пересчитать выход сети и изменение целевой функции в соответствии со сделанным изменением веса.
4. Если целевая функция улучшилась (уменьшилась), то сохранить изменение веса.
Если изменение веса приводит к увеличению целевой функции, то вероятность сохранения этого изменения вычисляется с помощью распределения Больцмана:
(1)
где P(c) - вероятность изменения c в целевой функции; k - константа, аналогичная константе Больцмана, выбираемая в зависимости от задачи; T - искусственная температура.
Выбирается случайное число r из равномерного распределения от нуля до единицы. Если P(c) больше, чем r, то изменение сохраняется, в противном случае величина веса возвращается к предыдущему значению.
Эта процедура дает возможность системе делать случайный шаг в направлении, портящем целевую функцию, позволяя ей тем самым вырываться из локальных минимумов.
Шаги 3 и 4 повторяются для каждого из весов сети, постепенно уменьшая температуру T, пока не будет достигнуто допустимо низкое значение целевой функции. В этот момент предявляется другой входной вектор и процесс обучения повторяется. Сеть обучается на всех векторах обучающего множества, пока целевая функция не станет допустимой для всех из них.
Скорость уменьшения температуры должна быть обратна пропорциональна логарифму времени. При этом сеть сходится к глобальному минимуму.
распознавание образов, классификация.
Медленный алгоритм обучения.
Алгоритм дает возможность сети выбираться из локальных минимумов адаптивного рельефа.
Случайные изменения могут проводиться не только для отдельных весов, но и для всех нейронов слоя в многослойных сетях или даже для всех нейронов сети одновременно. Эти модификации алгоритма дают возможность сократить общее число итераций обучения.
|
При использовании информации, находящейся на данной странице,
вы обязаны ссылаться на следующую работу:
Отчет по научно-исследовательской работе "Создание аналитического обзора информационных источников по применению нейронных сетей для задач газовой технологии"; Копосов А.И., Щербаков И.Б., Кисленко Н.А., Кисленко О.П., Варивода Ю.В. и др., ВНИИГАЗ, 1995. |