* LFF(Layered Feed-Forward neural network) : 다층 피드 포워드 신경망

 - 퍼셉트론은 선형분리가 불가능한 문제에 대해서 해결을 해지 못했다.

 - 이러한 문제를 해결 하기 위해서 나타난 것이 LFF이다.

 - LFF는 선형분리가 불가능한 문제를 나누기 위해서 여러개의 직선으로 층을 나눠서 문제해결을 시도한다.

  ex) 퍼셉트론으로 풀지 못한 XOR문제를 LFF, 2개의 층으로 이뤄진 신경망을 이용하여 해결이 가능하다. 

 - LFF는 하나의 입력층과 하나 이상의 은닉층, 하나의 출력층으로 이뤄져 있다. 

 - 이름에서 나타 났듯이 입력층, 은닉층, 출력층 등으로 층이 나눠져 있으며, 앞으로만 전진이 가능한 단방향 뉴런 네트워크다.

  > 입력층 : 계산과정 없이 외부로 부터 신호를 받아들이는 지점

  > 은닉층 : 계산 뉴런들로 이뤄져 있다. 이론적으로는 하나의 은닉층만 있어도 모든 함수가 표시 된다.

                 문제의 특성 및 원하는 결과 등에 따라 여러개의 은닉층이 존재 할 수 있다. 이는 반복되는 실험으로 밝혀야 한다.

  > 출력층 : 계산 뉴론들리 이뤄져 있으며, 최종 계산 결과를 출력 신호로 내보낸다.

 - 활성화 함수로는 sigmoid함수를 사용한다.

* LFF의 학습 방법

 - LFF 학습은 BP algorithm을 통해서 실시된다.

ⓐ Step 1 : 초기화 단계

 - 각 가중치와 각 뉴런에서의 임계값을 ( -2.4/뉴런의 총개수 , 2.4/뉴런의 총개수 ) 범위에서 모두 지정해준다.

ⓑ Step 2 : 활성화

 1) 입력층에서 은닉층으로 가는 값을 계산한다.

 2) 은닉층에서 출력층으로 가는 값을 계산한다.

ⓒ Step 3 : 가중치 학습

  ※ 오차 기울기 : 활성화 함수의 미분값에 뉴련 출력의 오차를 곱한 것. 기호 : δ

  1) 출력층에서 출력층 이전 은닉층 사이에는 다음을 사용한다.

   > 출력값과 기대값의 오차를 바로 사용할 수 있다.

  2) 은닉층에서 은닉층 또는 입력층으로 가는 사이에는 다음을 사용한다.

   > 오차를 바로 사용하지 못하므로, 이전 단계에서 자신에 의해 발생한 오차를 모두 더하여 사용한다.

ⓓ Step 4 : 반복

  p값을 증가 시켜가며, 한 에폭이 모두 에러가 0이 나올때까지 ⓑ로 돌아간다.

 - LFF에서 기대치는 각각에서 발생한 오차제곱의 합이 어느 특정 수치보다 작을 때까지 반복한다.

 ※ 오차 제곱의 합 : 신경망의 성능을 보여주는 지표, 오차 제곱의 합이 충분히 작으면 신경망이 완성됬다고 할 수 있다.

 - ANN의 결과는 쓸만해 이기 때문에 유일하지 않다.(많은 실험을 통해서 최적화를 해나가야 한다.)

* LFF 가속학습

 - LFF의 학습속도를 빠르게 하기 위해 다음을 사용한다.

 ⓐ 쌍곡 탄젠트

   - 시그모이드 함수를 사용하지 않고 쌍곡 탄젠트 함수를 사용한다. 

  - 쌍곡 탄젠트 함수는 a와 b값이 상수로 정해지지 않았기 때문에 잘 사용하는 방법은 아니다.

 ⓑ 운동량 항

  - 가중치를 보정할 때 이전 단계의 가중치 변화량에 운동량 상수를 곱하여 변화를 더욱 빠르게 해주는 방법이다.

  - 파란색 글씨로 칠한 것은 이전 가중치 변화량이며, 베타는 운동량 상수이다.

  - 이는 물리의 관성 법칙에 의거해서 나온 방법이다. 

  - 운동량 항을 적용하면 오차제곱의 합이 원하는 수치까지 가는데 필요한 계산 횟수가 줄어들게 된다.

 ⓒ 학습률 알파값을 유동적으로 한다.

  - 가중치 값을 학습할 때 가중치의 부호가 급변하는 것을 막기 위해서(변하는 폭을 줄이기 위해서) 적용한 것이 알파값이다.

  - 만약, 가중치 값의 부호가 줄어들지 않으면, 점차 알파값을 증가시킨다.

  - 만약, 가중치 값의 부호가 연속적으로 엇갈리면, 알파값을 줄여나간다.

  - 학습률의 변화가 프로그램에 쇼크를 주지 않는 한에서 변화가 지속적으로 이뤄지기 때문에 필요 계산횟수이 줄어들게 된다.

  

* 퍼셉트론

 - 계단 함수 또는 부호함수를 사용하여 만들어진 단순한 뉴런

 - 퍼셉트론에서는 초평면과 선형분리 개념이 적용된다.

  > 초평면 : N차원 공간을 두개의 영역으로 나누는 평면

  > 선형분리 : 값의 분포를 2개로 나눠지는 평면이 존재하면, 선형분리가 가능하다라고 한다.

 - 선형분리가 가능해야지 퍼셉트론으로 표현이 가능하다.

 ex1) AND

   > 녹색선과 빨간색선은 모두 2차원 공간을 2개로 나누는 초평면이다.

   > 녹색선으로 만들어진 함수는 AND를 나타내기 위해 부적합하다.

   > 붉은선으로 만들어진 함수는 AND를 나타내기에 적합하다. 또한 붉은선에 의해서 상태가 나눠지므로,

      선형분리가 가능하다.

   > 이는 퍼셉트론으로 계산이 가능하다.

 ex2) XOR

   > 어떠한 초평면으로도 XOR을 만족시키는 것이 없다.

   > 이는 선형분리가 불가능하며, 퍼셉트론으로 계산이 불가능하다.

* 퍼셉트론의 학습규칙

 - 퍼셉트론의 학습은 오차율을 계산해내어, 입력값의 비율 만큼 가중치 값을 조종한다.

 - 다음과 같은 AND연산을 위한 퍼셉트론에서 (x1, x2)가 (1, 1)이 들어 왔을 때,

   가중치 값을 변경해 나가는 것을 보며 학습규칙을 설명하겠다.

  1) 현재 들어 온 값과 Step함수를 이용해 Y값을 구한다.

     f(X1*W1 + X2+W2 - θ ) = f(1*0.2 + 1*(-0.1) - 0.2 ) = f( - 0.1) = 0 (Step 함수는 0보다 클 경우 1을 작을경우 -1을 출력)

  2) (1, 1)이 들어 왔을 때에 기대 값은 1이므로, 오차 "1"이 발생한다.

   > e = Yd - Y ( Yd : 목표치 / Y : 현재치 )

  3) 오차가 발생했기 때문에 보정을 해준다. 이 보정은 다음의 식을 따른다.

   > Wi(next) = Wi(current) + a * Xi * e // 다음 가중치 = 현재 가중치 + 보정치 * 입력값 * 오차 // a = 0.1 

     ( a는 0과 1사이의 값으로 학습률을 나타낸다. 이 값은 Wi값이 적정치로 가는데 값의 변화의 폭을 줄이기 위해서 필요하다. )

   > 위 식에 따라 W1(next) = 0.2 + 0.1 * 1 * 1 = 0.3, W2(next) = -0.1 + 0.1 * 1 * 1 = 0.0으로 계산된다.

 - 위와 같은 형식으로 가중치 값을 학습해나간다. 이는 오차를 누가 더 많이 발생했느냐에 따라서 가중치 값의 변화도 변한다.

 - 위 과정은 가능한 모든 입력치에 대해서 모두 실행했을때 모두 오차가 나지 않을 때 까지 반복한다.

  > 하나의 입력치 뭉치를 에폭이라고 하며, 가중치 값을 한번 변화하는 과정을 P값을 이용해 나타낸다.

 - 위에서 알아본 퍼셉트론의 학습규칙을 일반화하면 다음과 같다.

 ⓐ Step 1 : 초기 가중치 값 및 임계값(θ)를 임의의 값으로 부여한다. 여기서 θ와 W값은 -0.5~0.5 사이를 만족시키도록 한다.  

                 또한 P값을 1로 Setting한다. 또한, 정한 학습률을 저장시킨다.(슈도코드에선 0.1로 선택)

     >> Pseudo Code 

     theta = Random[-0.5,0.5];                                    // Set the theta value( threshold )

     for ( i = 0 ; i < n ; i++ ) W[i] = Random[-0.5,0.5];    //  Set the W[i] value( weight )

     p = 1;                                                                //  Set the P value ( Proceed number )

     assistant = 0.1;                                                   //  Set the a value

 ⓑ Step 2 : 활성화 함수와 theta값을 이용하여 Y(p)값을 산출해난다.

    >> Pseudo Code

    sum = 0;                                                             // sum  value of Xi * Wi

    result;                                                                // Value of Y(i)

    // Calculate Step Function

    for ( i = 0 ; i < n ; i++ ) sum += x[i]*w[i];                // sum of Xi * Wi

    sum -= theta;                                                      // Minus threshold value

    if ( sum > 0 ) result = 1;                                        

    else result = 0;

 ⓒ Step 3 : 다음 식을 이용하여 가중치 보정을 실시한다. 에러가 발생하지 않았다면 Step 4로 간다.

    >> Pseudo Code

    error = expectation[p] - result;

    if ( error != 0 ){

        for ( i = 0 ; i < n ; i++ ) w[i] += assistant * x[i] * e;

    }

 ⓓ Step 4 : 한 에폭을 실시하는 동안 에러가 나지 않는 다면 종료, 하나라도 에러가 났다면 Step 2로 돌아간다.

* 퍼셉트론의 한계

 - 선형분리가 불가능한 문제에 대해서 해결 할 수 없었다.(XOR)

 - 이러한 문제를 풀기 위해서 나온 것이 다층 피드 포워드 신경망이다.

  

* 기계 학습

 - 주변 환경 및 데이터를 통해서 공통점을 뽑아 내는 것

 - 학습 능력에 의해서 지능형 시스템의 성능은 개선되어 간다.

 - 대표적인 방법 : 유전알고리즘(Genetic algorithm), 인공신경망(Artificial Neural Network)

* 신경망

 - 뇌 : 서로 연결된 신경 세포의 집합

 - 신경세포(Neuron) : 정보처리 단위

 - 여러개의 뉴런을 병렬처리 함으로써 인간은 어떤 컴퓨터보다 빠르게 그 기능을 수행할 수 있다.

 - 복잡하며, 비선형적이고, 병렬적인 처리가 가능하다.

 - 인공신경망 : 인간의 뇌를 부분적으로 흉내낸 것

* 인공신경망의 모델

 - 사람 신경망의 단순화 : 여러가지 데이터를 합쳐서 처리를 한후 다음 노드로 결과를 전달

 - 가중치가 있는 링크들의 연결로 이뤄진다.

 - 각각의 뉴런은 여러 뉴런에게 데이터를 받지만, 단하나의 결과만을 낸다.

 - 각각의 신호값을 가중치와 곱한 값들의 합과 뉴런이 가지고 있는 한계치와 비교한다.

 - 간단한 경우 한계치를 넘어서면 1을 그렇치 않다면 -1을 출력하여 다음 노드로 전달한다.

* 인공신경망의 학습 : 반복적인 조정으로 학습을 실시한다.

* 활성화 함수(Activation function)

 - 결과값을 내보낼때 사용하는 함수

 - 전이 함수라고도 한다.

 ⓐ 계단함수

  - 한계치를 넘으면 1을 출력 그렇지 않으면 0을 출력

 ⓑ 부호함수

  - 한계치를 넘으면 1을 출력 그렇지 않으면 -1을 출력

 ⓒ 시그모이드 함수

  - X에 따라 Y값을 계산한다

  - Y는 0~1값을 갖는다.

 ⓓ 선형함수

  - Y = X

  - 크게 의미가 없다.

 ⓔ 쌍곡 탄젠트 함수

  - 시그모이드 함수를 변형하여 갖는 값을 -k~k사이로 바꾼 함수. (k는 a, b값에 의해 달라진다)

  - 시그모이드 함수보다 빠른 학습을 위해서 사용되는 함수

 - ⓐ와 ⓑ는 흑백 논리로서 사람이 생각하는 것과 다르다

 - ⓒ, ⓔ를 주로 많이 사용한다. 가중치 값을 학습해나가는데 에러가 더 적게 나도록 도와준다.