[ML] Perceptron (퍼셉트론)

𝖯𝖾𝗋𝖼𝖾𝗉𝗍𝗋𝗈𝗇

​

𝖭𝖾𝗎𝗋𝗈𝗇

= Dendrite에 여러 값들이 도착하면 하나의 신호로 통합하고, 임의의 임계값을 넘게 되면 이 값이 Axon을 통해 전달된다는 메커니즘 » 뇌세포

• Net Input Function (순입력함수)

- 입력값 X의 n개의 Feature들이 n+1개의 weight와 곱하여 summation되어 하나의 신호로 통합

Why n+1개 ? — 마지막 1개는 Bias (Prior 역할)

​

• Activation Function (활성함수)

- 순입력함수의 결과값으로부터 결과값을 생성하는 임의의 함수

ex) 임계값(threshold)와 비교하여 -1 or 1의 결과값 생성 (threshold보다 작으면 -1)

​

 

𝖯𝖾𝗋𝖼𝖾𝗉𝗍𝗋𝗈𝗇

= 뉴런의 임계값과 비교하는 부분을 생략하여 간단하게 표현해 3개의 층을 가지는 구조

​

- 단층 Perceptron과 다층 Perceptron > 중간층의 개수 차이

- 전단계의 층과 다음 단계 층 두 layer의 전체 노드와 빠짐없이 연결되어 있으면 — fully connected

- 입력.출력층은 지도학습, 은닉층은 어떤 입력과 출력을 하는지 알 수 없어 은닉층

​

​

𝖯𝖾𝗋𝖼𝖾𝗉𝗍𝗋𝗈𝗇 𝖫𝖾𝖺𝗋𝗇𝗂𝗇𝗀 𝖠𝗅𝗀𝗈𝗋𝗂𝗍𝗁𝗆

​

​

​𝖯𝖾𝗋𝖼𝖾𝗉𝗍𝗋𝗈𝗇 𝖫𝖾𝖺𝗋𝗇𝗂𝗇𝗀 𝖠𝗅𝗀𝗈𝗋𝗂𝗍𝗁𝗆 𝖵𝖺𝗋𝗂𝖺𝗍𝗂𝗈𝗇

- 앞의 알고리즘은 데이터의 오차 정도를 고려하지 않고 무조건 더하고 빼, 최적의 W 못 찾을 수 있음

​

• 개선 방법

- 학습률, 오차 정도를 고려하도록 개선

> W 초기화 (ex : -0.5 ~ 0.5) — Bias x0의 값은 임의의 값

> 학습 데이터 d = [d1, … , dn]을 Perceptron에 Forward Passing 적용하여, 출력값 threshold에 기반하여 출력값 o 얻음

- 출력값 o : threshold보다 크면 1, 작으면 -1

- n : 데이터의 Feature Dimension

> 정답 y와 출력 o를 비교하여 다를 경우(에러), W += 학습률 * 데이터 d * (threshold — o)

> 에러가 없을 때까지 반복

​​

𝖯𝖾𝗋𝖼𝖾𝗉𝗍𝗋𝗈𝗇 𝖫𝗂𝗆𝗂𝗍

- Perceptron Learning Algorithm은 Supervised Learning 방식이다

- 단층 Perceptron은 선형 분류밖에 못한다 (XOR 문제 풀지못함)

​​

𝖯𝖾𝗋𝖼𝖾𝗉𝗍𝗋𝗈𝗇 𝖠𝗋𝗋𝖺𝗇𝗀𝖾𝗆𝖾𝗇𝗍

- 생성적이다 (왼쪽에서 오른쪽으로 생성되어 나간다)

- Intra-layer Independence (층내 독립), Not Controlable

- 설명이 불가능하다