Stanford CS229 Lecture 4. Perceptron & Generalized Linear Model
Outline
- Perceptron
- Exponential Family
- Generalized Linear Model
- Softmax Regression(Multiclass classification)
Preceptron
Perceptron은 딥러닝에서 등장하는 개념으로 알고 있었는데 이 강의에서
실용적인 의미가 아닌 hisotrical한 개념으로 Perceptron을 설명하고 있습니다.
실제 머신러닝 알고리즘으로는 활용되지 않는 이유는 Probability interpretation이 없기 때문입니다.
Logistic Regression vs. Perceptron
Logistic Regression과 Perceptron을 비교하면, 아래 그림과 같이
Sigmoid function은 Perceptron의 soft한 형태로 나타난다고 할 수 있습니다. Perceptron은 binary한 1과 0만을 가집니다.
Exponential Family(지수족)
지수족은 바로 다음에 등장하는 Generalized Linear Model과 밀접한 연관성이 있다.
지수족과 관련된 복잡한 수식은 강의노트와 필기내용에서 참고하는 정도이고, 이 개념에 대해서 다시 잡고자 합니다.
지수족은 각각의 확률 분포를 아래의 수식처럼 표현할 수 있다면,
해당 확률 분포는 지수족에 포함된다고 할 수 있습니다.
실수의 경우 가우시안 분포, Binary일 경우 베르누이, 특정 개수를 셀 경우에는 포아송,
그 이외에도 감마, 지수 분포 등 여러 확률 분포가 이에 포함됩니다.
지수족을 사용하는 이유
이유는 다름아닌, 해결하고자 하는 문제의 유형에 따라 지수족에 맞는 분포를 고르고,
이 분포의 평균이 Output이 되기 때문입니다.
이후 등장하는 개념이나 softmax의 이해는 다시 복습한 이후, 업로드할 예정입니다.
Just do it & Keep steady
댓글남기기