만일, 어떤 신경세포의 활성이 다른 신경세포가 잘못된 출력을 내는데 공헌을 하였다면, 두 신경세포 간의 연결 가중치를 그것에 비례하여 조절해 주어야 한다.
(1) 번 수식을 살펴 보자.
첫째 상황으로 목적하는 패턴과 출력 신경 세포 j의 활성 값이 정확히 일치하면, 이 때의 오류는 0이므로, 연결 가중치는 변하지 않게 된다.
둘째 상황으로 비슷하게 신경세포 i의 활성값인 ai가 0인 경우에도 연결 가중치는 변하지 않는다. 이것의 의미는 입력단의 신경 세포 i가 출력 신경 세포 j의 활성값에 아무런 기여를 하지 않기 때문에, 연결 가중치도 변경하지 않는 것이다.
당연한 것이지만, 오류가 0이고, 신경세포 i의 활성값이 0인 경우에도 연결 가중치는 변하지 않는다.
오직 오류가 0이아니고, i의 활성값이 0이 아닐 경우에만, 연결 가중치가 변하게 된다.
정리하면, 현재 신경 세포에 연결되어 있는 가중치는 현재 신경 세포가 출력층 신경 세포의 활성에 기여한 만큼 변화된다.
델타 규칙은 경사 하강법(gradient descent method)의 일종이다. 이 것의 의미는 지역 극소(local minima)에 빠질 수 있음을 의미한다. 지역 극소 중 최소인 점이 전역 극소(global minima) 이며, 이 지점에 도달해야 학습 완료된 것이다. 어떤 극소점에 있든지 신경망 에러가 줄지 않는 경우를 안정(stable) 상태라고 부른다.
지역 극소 문제해결을 위해서 확률의 개념을 도입한다. 대표적인 방법은 시뮬레이티드 애닐링 방법(simulated annealing method)이 있다. 이것은 신경망 위치가 임의의 위치에 퍼져있도록 한 후에 임의성을 줄여간다. 임의성이 준다는 의미는 에러를 줄인다는 의미이고, 만약, 두 지역 극소점이 있을 때, 더 높은 곳에 있는 상태는 더 아래 상태로 갈 수 있으나, 반대로는 불가능해진다.
시뮬레이티드 애닐링 방법을 이용한 신경망 모델로는 볼쯔만 머신(Boltzmann Machine)이 있다. 볼쯔만 머신은 회기 신경망 모델(recurrent neural network, 또는 feed backward neural network)이다. 이 말은 연결이 양방향으로 되어 있음을 나타내며, 양방향 연관 기억장치(Bidirectional Associative Memory), 홉필드 신경망(Hopfield network) 등이 있다. 이와 반대로 단방향 연결만 가지는 경우는 비회귀 신경망(nonrecurrent neural network 또는 feed forward neural network) 라고 부르며, 대표적으로 단층 퍼셉트론이 있다.
사실상 회귀 신경망 모델은 패턴 완성 기능(pattern completion)이 있기 때문에, 패턴 복원이 가능한 모델이다.
댓글