Cost Function - Intuition I (비용 함수 - 첫번째 개념)

우리가 시각적으로 생각한다면, 훈련 데이터셋은 x, y로 이루어진 평면에 흩어져 있습니다. 우리는 h(x)라고 정의한 함수를 흩어져있는 데이터셋을 지나는 직선으로 만들기 위해 노력할 것입니다.

우리의 목적은 흩어진 점(데이터셋)을 다 지나는 최고의 직선을 만드는 것입니다. 그 직선은 전 시간에 설명했던 평균제곱오차, 즉 비용 함수가 제일 적을 때의 변수 값이 필요합니다. (h(x) = ax+ b라고 정의했을 때, 비용 함수 J(a, b)가 최소가 되야 합니다)

이상적으로는, h(x)의 직선 그래프는 훈련 데이터셋의 모든 점을 지나가야만 합니다. 즉, 아래와 같은 경우에서는 h(x) = ax + b라고 정의할 때 b의 값은 0이어야 합니다. 아래의 예시는 우리의 비용 함수가 0이 되는 우리가 제일 바라는 케이스입니다.

세타1 = a, 세타0 = b 로 가정합니다.

만약 a가 1일때, 우리는 기울기가 1이고, 모든 데이터셋을 지나는 직선을 만들 수 있게 됩니다. 반대로, a가 0.5이면, 기울기가 0.5이고 데이터셋들과는 조금 먼 거리에 있는 직선이 만들어집니다.

위 상황에서 비용함수 J를 구해보면, 0.58이라는 값이 나옵니다. 그 후, b가 0이라고 가정하고 a에 대한 J(a) 그래프를 그려보면 아래와 같습니다.

우리의 목표는 이 J(a)를 최소화시키는 것이므로, 0이 되는 a가 1일때가 최소값이며, 우리는 이 a값을 전역 최소값(Global Minimum)이라고 부릅니다.