Multi-Layer Perceptron

Single-Layer Perceptron 소개 및 한계점

• 1개의 Layer를 가진 모델을 뜻한다. 선형적인 문제에는 효과적일 수 있으나, 비선형 문제를 해결하지 못한다는 단점이 있다.

비선형 문제 해결이 어려운 이유

Single-Layer Perceptron은 입력 $\mathbf{x} = (1, x_1, x_2, \dots x_d)^T$ 와 weight $\mathbf{w}$ 의 내적을 통해 나온 signal을 Activation function에 넣은 후 분류하게 된다. 즉 입력이 2-dimension일 경우 임의의 한 직선으로 영역을 나누어 판별하게 되는데, 분포가 비선형적인 데이터를 표현하는것은 한계가 존재한다. 따라서 비선형 문제 해결을 위해 Multi-Layer Perceptron으로 문제를 해결한다.

Multi-Layer Perceptron 소개

• 2개 이상의 Layer를 가진 모델로 Single-Layer Perceptron의 비선형 문제도 해결할 수 있다.
• $n$개의 perceptron을 결합하면 $n$차원의 공간으로 변환된다.
• input layer → hidden layer → output layer로 구성되어 있으며, hidden layer에서 feautre를 transformation 하여 분류에 유리하도록 해준다.

비선형 문제 해결법

input feature을 바탕으로 분류하기 쉽게 transformation 하여 문제를 해결한다. 아주 대표적인 예시로 입력이 2-dimension인 XOR을 생각해보자.

XOR는 절대 하나의 직선으로 완벽하게 분류가 불가능하다. 그러면 분류가 가능하도록 변경하면 된다.

위 그래프를 보면 입력 $x_1, x_2$를 통해 $z_1, z_2$ 를 구하고 있다. 변환된 $\mathbf{z}$ 으로 다시 그래프에 표현해보면 하나의 직선으로 충분히 분류가 가능하다.

Activation function

• 입력신호를 출력신호로 변경해주는 역활을 한다.