Wisdoms131 인스타 규칙(Instar rule) 어떤 신경 세포가 특정 연결을 자극하면 그것의 연결 가중치를 그 자극과 같아지도록 조절한다. 이전에 언급했던 델타 규칙과 퍼셉트론은 목표로 하는 패턴이 있었다. 목표 패턴과의 비교를 통해서 오류를 줄여가는 방향으로 학습을 수행했기 때문에 감독학습(supervised learning)이다. 반면, 인스타 규칙은 이런 목표로 하는 패턴이 없다. 그러므로 무감독 학습(unsupervised learning)이다. 인스타 규칙은 1974년 그로스버그(Stephen Grossberg)에 의해 만들어졌다. 학습이 진행되면서 신경세포의 연결 가중치는 해당 신경 세포에 입력을 주는 신경 세포의 활성값과 유사해져간다. 2014. 10. 21. 일반화된 델타 규칙(generalized delta rule) 만일, 어떤 신경세포의 활성이 다른 신경세포가 잘못된 출력에 공헌을 하였다면, 두 신경세포 간의 연결 가중치를 그것에 비례하여 조절해 주어야 한다. 그리고 그러한 과정은 그 아래에 있는 신경세포들까지 계속된다. 이 규칙에서는 오류를 출력층에서 입력층 방향으로 역 방향으로 전파를 하게 된다. 그렇기 때문에 오류 역전파 알고리즘(error back-propagation algorithm)이라고 부르며, 이를 이용하는 신경망 모델은 오류 역전파 모델(error back-propagation model)이라고 부른다. 아래의 식은 상단 신경세포의 에러로 부터 델타를 구한다. 시그모이드 함수의 미분은 f'(x) = x(1 - x)으로 단순하다. 위의 식에서 구한 출력층 신경 세포들의 델타 값을 아래층 신경 세포로.. 2014. 10. 20. 선택적 주의(selective attention) 일본의 푸쿠시마(Fukushima)에 의해서 만들어진 네오코그니트론(neocognitron)이라는 신경망은 선택적 주의라는 능력을 가진다. 이 능력은 관점에 따라서 다른 인식 결과를 나타내게 된다. 가령, 숫자 2와 7을 정확히 일치 시켜 만들어진 패턴은 보는 관점에 따라서 2와 7로 개별적으로 인식될 수 있다. 2014. 10. 20. 델타 규칙(Delta Rule) 만일, 어떤 신경세포의 활성이 다른 신경세포가 잘못된 출력을 내는데 공헌을 하였다면, 두 신경세포 간의 연결 가중치를 그것에 비례하여 조절해 주어야 한다. (1) 번 수식을 살펴 보자.첫째 상황으로 목적하는 패턴과 출력 신경 세포 j의 활성 값이 정확히 일치하면, 이 때의 오류는 0이므로, 연결 가중치는 변하지 않게 된다. 둘째 상황으로 비슷하게 신경세포 i의 활성값인 ai가 0인 경우에도 연결 가중치는 변하지 않는다. 이것의 의미는 입력단의 신경 세포 i가 출력 신경 세포 j의 활성값에 아무런 기여를 하지 않기 때문에, 연결 가중치도 변경하지 않는 것이다.당연한 것이지만, 오류가 0이고, 신경세포 i의 활성값이 0인 경우에도 연결 가중치는 변하지 않는다.오직 오류가 0이아니고, i의 활성값이 0이 아닐.. 2014. 10. 20. 이전 1 ··· 11 12 13 14 15 16 17 ··· 33 다음