Machine Learning14 일반화된 델타 규칙(generalized delta rule) 만일, 어떤 신경세포의 활성이 다른 신경세포가 잘못된 출력에 공헌을 하였다면, 두 신경세포 간의 연결 가중치를 그것에 비례하여 조절해 주어야 한다. 그리고 그러한 과정은 그 아래에 있는 신경세포들까지 계속된다. 이 규칙에서는 오류를 출력층에서 입력층 방향으로 역 방향으로 전파를 하게 된다. 그렇기 때문에 오류 역전파 알고리즘(error back-propagation algorithm)이라고 부르며, 이를 이용하는 신경망 모델은 오류 역전파 모델(error back-propagation model)이라고 부른다. 아래의 식은 상단 신경세포의 에러로 부터 델타를 구한다. 시그모이드 함수의 미분은 f'(x) = x(1 - x)으로 단순하다. 위의 식에서 구한 출력층 신경 세포들의 델타 값을 아래층 신경 세포로.. 2014. 10. 20. 선택적 주의(selective attention) 일본의 푸쿠시마(Fukushima)에 의해서 만들어진 네오코그니트론(neocognitron)이라는 신경망은 선택적 주의라는 능력을 가진다. 이 능력은 관점에 따라서 다른 인식 결과를 나타내게 된다. 가령, 숫자 2와 7을 정확히 일치 시켜 만들어진 패턴은 보는 관점에 따라서 2와 7로 개별적으로 인식될 수 있다. 2014. 10. 20. 델타 규칙(Delta Rule) 만일, 어떤 신경세포의 활성이 다른 신경세포가 잘못된 출력을 내는데 공헌을 하였다면, 두 신경세포 간의 연결 가중치를 그것에 비례하여 조절해 주어야 한다. (1) 번 수식을 살펴 보자.첫째 상황으로 목적하는 패턴과 출력 신경 세포 j의 활성 값이 정확히 일치하면, 이 때의 오류는 0이므로, 연결 가중치는 변하지 않게 된다. 둘째 상황으로 비슷하게 신경세포 i의 활성값인 ai가 0인 경우에도 연결 가중치는 변하지 않는다. 이것의 의미는 입력단의 신경 세포 i가 출력 신경 세포 j의 활성값에 아무런 기여를 하지 않기 때문에, 연결 가중치도 변경하지 않는 것이다.당연한 것이지만, 오류가 0이고, 신경세포 i의 활성값이 0인 경우에도 연결 가중치는 변하지 않는다.오직 오류가 0이아니고, i의 활성값이 0이 아닐.. 2014. 10. 20. 헤브의 규칙(Hebb's Rule) 만일, 어떤 신경세포의 활성이 다른 신경세포가 활성하는데 계속적으로 공헌을 한다면, 두 신경세포 간의 연결 가중치를 증가시켜 주어야 한다. i와 j는 신경 세포의 위치이며, 이것은 입력과 출력층의 뉴런은 제외된다. 왜냐하면, 입력층은 연결 가중치가 없고, 출력층의 경우에는 목적 패턴이 active value of i 대신에 이용된다. 그러므로 코드를 작성할 때도 마찬가지로 입력층에 대한 코드는 루프에서 제외시키고, 출력층에 있는 신경 세포의 가중치는 ai부분에 목적 패턴의 값을 입력한다. 그리고 연결 가중치를 다 조정한 후에는 각각의 신경 세포의 활성값에서 각각의 목적 패턴의 값을 뺀 값을 제곱한 값들을 모두 더하고 루프를 취해서(기하거리), 에러 총량을 계산한다. 2014. 10. 19. 이전 1 2 3 4 다음