2. 싱글 인풋 뉴런

본 포스팅은 구름EDU 딥러닝 이론 및 파이썬 실습 (허민석) 을 참고하여 작성된 요약본입니다. 비전문가가 작성하였으므로 참고만 해주시길 부탁드립니다.

 

1. 싱글 인풋 뉴런이란?

 

앞에서 말했다시피 뉴런은 사람의 뇌와 매우 비슷하게 작동된다.

자극이 오면 이를 판단하고 다른 뉴런으로 넘기는 방식으로 처리한다.

이를 딥러닝에 구현한다면 어떠한 자극이 올 때 자극을 가중치와 곱하고, 활성 함수에 넣는다면

기댓값보다 높을 때 1을, 아닐 때 0을 출력한다.

정리하자면 하나의 입력값을 가지고 처리하는 뉴런을 뜻한다.

 

2. 활성 함수

 

활성 함수는 전달된 값(자극 x 가중치)이 0인지 1인지를 판단하는 함수이다.

크게 Step Function(계단 함수), Sign Function(부호 함수), Sigmoid Function(시그모이드 함수), Linear Function(일차 함수)가 있다.

Linear Function을 제외하고는 주로 함수값이 0이거나 1, -1이 나오기도 한다.

Linear Funciton은 주로 넘어온 파라미터의 값을 그대로 리턴하거나 기울기에 따라 여러 값을 내놓기도 한다.

 

3. 활성 함수의 예제

 

p를 자극, w를 가중치, f를 계단 함수, a를 출력값 이라고 가정했을 때,

 

f(p * w) = a 이다. 이때 p를 1, w를 2로 대입했을 때 f(2 * 1) 이다. 계단 함수는 인자값이 0보다 크거나 같으면 1을, 0보다 작다면 0을 반환한다. 2 > 0 이므로 f(2 * 1) = 1 을 반환하는 것이다.

 

그런데 만약, p 와 w가 양수라고 가정할 때 a가 음수가 될 순 없을까? 지금까지의 개념으로는 불가능하다. 양수와 양수를 곱하면 무조건 양수가 나오고, 계단 함수에 따라 1이 나오기 때문이다.

 

이를 극복하기 위해서 편향(bias, b)를 도입했다. 단순히 p * w 를 통해 활성화 함수에 대입하는 것이 아닌 편향을 통해 활성화 함수의 값을 변화시킬 수 있다. 

 

즉, 편향이 도입된다면 뉴런의 식은 f(p * w + b) = a 형태가 된다. 

 

아래의 뉴런에서는 f를 계단 함수로, 편향값을 -2로 둔다.

 

p = 2, w = 1일때, 뉴런의 식은 f(2 * 1 - 2), f(0) 이므로 활성 함수에서는 1이 출력된다. (계단 함수는 0일 때에도 1을 출력한다)

 

p = 1, w = 1일때 뉴런의 식은 (f1 * 1 - 2), f(-1) 이므로 활성 함수에서는 0이 출력된다.