Проектирование систем искусственного интеллекта


         

dsj является производной этой функции


Так как множитель dyj/ dsj является производной этой функции по ее аргументу, из этого следует, что производная активационной функция должна быть определена на всей оси абсцисс. В связи с этим функция единичного скачка и прочие активационные функции с неоднородностями не подходят для рассматриваемых НС. В них применяются такие гладкие функции, как гиперболический тангенс или классический сигмоид с экспонентой. В случае гиперболического тангенса

(4.6)


Третий множитель
, очевидно, равен выходу нейрона предыдущего слоя
.

Что касается первого множителя в (4.5), он легко раскладывается следующим образом[2]:

(4.7)


Здесь суммирование по k выполняется среди нейронов слоя n+1.

Введя новую переменную

(4.8)


мы получим рекурсивную формулу для расчетов величин
слоя n из величин
более старшего слоя n+1.

(4.9)


Для выходного же слоя

(4.10)


Теперь мы можем записать (4.4) в раскрытом виде:

(4.11)


Иногда для придания процессу коррекции весов некоторой инерционности, сглаживающей резкие скачки при перемещении по поверхности целевой функции, (4.11) дополняется значением изменения веса на предыдущей итерации

(4.12)


где
– коэффициент инерционности, t – номер текущей итерации.

Таким образом, полный алгоритм обучения НС с помощью процедуры обратного распространения строится так:

  1. Подать на входы сети один из возможных образов и в режиме обычного функционирования НС, когда сигналы распространяются от входов к выходам, рассчитать значения последних. Напомним, что
    (4.13)
    где M – число нейронов в слое n-1 с учетом нейрона с постоянным выходным состоянием +1, задающего смещение;
    – i-ый вход нейрона j слоя n.

    , где f() – сигмоид, (4.14)

    (4.15)
    где Iq – q-ая компонента вектора входного образа.

  2. Рассчитать
    для выходного слоя по формуле (4.10). Рассчитать по формуле (4.11) или (4.12) изменения весов
    слоя N.
  3. Рассчитать по формулам (4.9) и (4.11) (или (4.9) и (4.10)) соответственно
    и
    для всех остальных слоев, n=N-1,...1.
  4. Скорректировать все веса в НС
    (4.16)

    Рис. 4.3.  Диаграмма сигналов в сети при обучении по алгоритму обратного распространения


    Содержание  Назад  Вперед