Machine Learning/Terms8 Fisher's linear discriminant Fisher's linear discriminant (FLD) 는 차원 축소 기법 중 하나로 클래스 분류 문제에서 적용 가능하다. 두 개의 클래스를 가진 문제로 생각했을 때, 다음의 조건을 만족하는 각 클래스의 대표 직선을 찾는 문제를 해결한다. 두 그룹 간 중심의 거리가 멀어야 함. 개별 그룹 내의 분산이 작아야 함. 수식 앞 부분에 대한 설명은 여기를 참조하자. adnoctum.tistory.com/442 Fisher's linear discriminant 원리 Fisher's linear discriminant (FLD) 는 데이터를 여러 변수들의 선형결합으로 표현하였을 때 서로 다른 그룹을 잘 구분할 수 있게 해 주는 coefficient 를 찾는 방법이다. 그림으로 보자면 다음과 같다. 위 ad.. 2020. 12. 24. 인스타 규칙(Instar rule) 어떤 신경 세포가 특정 연결을 자극하면 그것의 연결 가중치를 그 자극과 같아지도록 조절한다. 이전에 언급했던 델타 규칙과 퍼셉트론은 목표로 하는 패턴이 있었다. 목표 패턴과의 비교를 통해서 오류를 줄여가는 방향으로 학습을 수행했기 때문에 감독학습(supervised learning)이다. 반면, 인스타 규칙은 이런 목표로 하는 패턴이 없다. 그러므로 무감독 학습(unsupervised learning)이다. 인스타 규칙은 1974년 그로스버그(Stephen Grossberg)에 의해 만들어졌다. 학습이 진행되면서 신경세포의 연결 가중치는 해당 신경 세포에 입력을 주는 신경 세포의 활성값과 유사해져간다. 2014. 10. 21. 일반화된 델타 규칙(generalized delta rule) 만일, 어떤 신경세포의 활성이 다른 신경세포가 잘못된 출력에 공헌을 하였다면, 두 신경세포 간의 연결 가중치를 그것에 비례하여 조절해 주어야 한다. 그리고 그러한 과정은 그 아래에 있는 신경세포들까지 계속된다. 이 규칙에서는 오류를 출력층에서 입력층 방향으로 역 방향으로 전파를 하게 된다. 그렇기 때문에 오류 역전파 알고리즘(error back-propagation algorithm)이라고 부르며, 이를 이용하는 신경망 모델은 오류 역전파 모델(error back-propagation model)이라고 부른다. 아래의 식은 상단 신경세포의 에러로 부터 델타를 구한다. 시그모이드 함수의 미분은 f'(x) = x(1 - x)으로 단순하다. 위의 식에서 구한 출력층 신경 세포들의 델타 값을 아래층 신경 세포로.. 2014. 10. 20. 선택적 주의(selective attention) 일본의 푸쿠시마(Fukushima)에 의해서 만들어진 네오코그니트론(neocognitron)이라는 신경망은 선택적 주의라는 능력을 가진다. 이 능력은 관점에 따라서 다른 인식 결과를 나타내게 된다. 가령, 숫자 2와 7을 정확히 일치 시켜 만들어진 패턴은 보는 관점에 따라서 2와 7로 개별적으로 인식될 수 있다. 2014. 10. 20. 이전 1 2 다음
