본문 바로가기

Machine Learning/Terms8

델타 규칙(Delta Rule) 만일, 어떤 신경세포의 활성이 다른 신경세포가 잘못된 출력을 내는데 공헌을 하였다면, 두 신경세포 간의 연결 가중치를 그것에 비례하여 조절해 주어야 한다. (1) 번 수식을 살펴 보자.첫째 상황으로 목적하는 패턴과 출력 신경 세포 j의 활성 값이 정확히 일치하면, 이 때의 오류는 0이므로, 연결 가중치는 변하지 않게 된다. 둘째 상황으로 비슷하게 신경세포 i의 활성값인 ai가 0인 경우에도 연결 가중치는 변하지 않는다. 이것의 의미는 입력단의 신경 세포 i가 출력 신경 세포 j의 활성값에 아무런 기여를 하지 않기 때문에, 연결 가중치도 변경하지 않는 것이다.당연한 것이지만, 오류가 0이고, 신경세포 i의 활성값이 0인 경우에도 연결 가중치는 변하지 않는다.오직 오류가 0이아니고, i의 활성값이 0이 아닐.. 2014. 10. 20.
헤브의 규칙(Hebb's Rule) 만일, 어떤 신경세포의 활성이 다른 신경세포가 활성하는데 계속적으로 공헌을 한다면, 두 신경세포 간의 연결 가중치를 증가시켜 주어야 한다. i와 j는 신경 세포의 위치이며, 이것은 입력과 출력층의 뉴런은 제외된다. 왜냐하면, 입력층은 연결 가중치가 없고, 출력층의 경우에는 목적 패턴이 active value of i 대신에 이용된다. 그러므로 코드를 작성할 때도 마찬가지로 입력층에 대한 코드는 루프에서 제외시키고, 출력층에 있는 신경 세포의 가중치는 ai부분에 목적 패턴의 값을 입력한다. 그리고 연결 가중치를 다 조정한 후에는 각각의 신경 세포의 활성값에서 각각의 목적 패턴의 값을 뺀 값을 제곱한 값들을 모두 더하고 루프를 취해서(기하거리), 에러 총량을 계산한다. 2014. 10. 19.
bootstrapping 본 글은 스크랩해온 글이다. resampling이란 모분포의 형태를 알 수 없을 때, 현재 갖고 있는 데이터의 일부분을 재추출하여 분포를 만든 후 관측하는 값의 통계적 의미를 확인하는 방법이다. 우선 estimator 에 대해 살펴 보고 넘어 가자. 일련의 데이터가 있을 때, 우리는 그 데이터의 총체적 특성을 나타내는 값으로 보통 '(산술)평균'을 이용한다. 즉, 평균이란 데이터 집합의 특성을 표현하기 위한 수치 중 하나의 예일 뿐이다. 최대, 최소, 중간값, 모드, 표준편차, skew, n-th moment 등 데이터 집합의 특성을 표현하기 위한 값에는 매우 많은 종류가 있다. 이 글에서는, 데이터가 주어지면 그 데이터를 이용하여 하나의 실수값을 계산해 낼 수 있을 때, 그 실수를 estimator 라.. 2014. 2. 6.
서로소(Pairwise Disjoint Set) 와 파티션(Partition) 서로소(pairwise disjoint set)은 두 집합이 공유하는 요소가 없는 집합의 모음이다 (예를 들어, 그들의 교집합이 공집합인 경우). 가령, 다음의 집합의 모음들은 서로소들이다:{ }, {1, 2, 5}, {3, 6}, {4, 9} 여기에 서로소가 아닌 집합 모음이 있다:{2, 6, 7}, {6, 7, 9}, {3} 이 집합들은 서로소가 아닌데, 첫째와 둘째 집합의 교집합이 공집합이 아니기 때문이다({6, 7}). (원문이 조금 이상해서 수정함) 서로소의 합집합이 원래 집합이되는 부분집합들의 집합을 파티션이라고 부른다. 예를 들어, 다음은 집합 {1, 2, 3, 4, 5}의 파티션이다:{{1, 2}, {3}, {4, 5}} A pairwise disjoint collection (set) o.. 2013. 11. 12.