만일, 어떤 신경세포의 활성이 다른 신경세포가 잘못된 출력에 공헌을 하였다면, 두 신경세포 간의 연결 가중치를 그것에 비례하여 조절해 주어야 한다. 그리고 그러한 과정은 그 아래에 있는 신경세포들까지 계속된다.
이 규칙에서는 오류를 출력층에서 입력층 방향으로 역 방향으로 전파를 하게 된다. 그렇기 때문에 오류 역전파 알고리즘(error back-propagation algorithm)이라고 부르며, 이를 이용하는 신경망 모델은 오류 역전파 모델(error back-propagation model)이라고 부른다.
아래의 식은 상단 신경세포의 에러로 부터 델타를 구한다.
시그모이드 함수의 미분은 f'(x) = x(1 - x)으로 단순하다. 위의 식에서 구한 출력층 신경 세포들의 델타 값을 아래층 신경 세포로 역전파 하게 된다. 이 말은 위층에서 구한 델타와 연결 가중치를 곱해서 아래 신경 세포로 전달되고, 전달된 모든 델타들이 해당 신경 세포에서 합쳐져서 에러가 된다.
위의 식에서는 은닉층 신경 세포의 델타를 구한다. 이렇게 구해진 델타와 활성값에 학습률을 곱한 만큼 연결 가중치를 조정한다.
댓글