미분, 편미분

미분

미분 : 함수의 기울기를 도출하는 방법

함수 미분 방법

$$ f(w) = w^2 $$

함수 f(w)의 'w에 관한 미분' 표시 방법

$$ \frac{df(w)}{dw}, \frac{d}{dw}f(w), f'(w) $$

미분은 함수의 기울기를 나타냄. 함수의 기울기도 w가 바뀌면 변화하기 때문에 w의 함수로 되어있음. 상기 2차함수의 경우 다음 식과 같음

$$\frac{d}{dw}w^2 = 2w$$

일반적으로 w^2형식의 함수는 아래 공식을 사용하여 쉽게 미분을 구할 수 있음.

$$ \frac{d}{dw}w^n = nw^{n-1} $$

미분기호 d/dw는 오른쪽에만 작용됨.

중첩된 함수의 미분

중첩함수의 예

$$f(w) = g(w)^2$$

$$g(w) = aw+b $$

아래식을 위식에 대입하고 그 식을 전개하면 미분을 계산할 수 있음.

$$f(w) = (aw+b)^2 = a^2w^2 + 2abw + b^2$$

$$\frac{d}{dw}f(w) = 2a^2w + 2ab$$

중첩된 함수의 미분 : 연쇄법칙

식이 복합하고 전개하기 힘들떄 연쇄법칙 이용

연쇄법칙의 공식은 다음과 같음

$$\frac{df}{dw} = \frac{df}{dg}\cdot \frac{dg}{dw}$$

df/dg부분은 'f를 g로 미분한다'의 의미

미분공식을 적용하면 다음과 같음

$$ \frac{df}{dg} = \frac{d}{dg}g^2 = 2g$$

후반의 dg/dw는 g를 w로 미분한다는 뜻으로 다음 공식과 같음.

$$ \frac{dg}{dw} = \frac{d}{dw}(aw+b) = a $$

그러므로 다음과 같은 결과를 얻을 수 있음.

$$\frac{df}{dw} = \frac{df}{dg}\cdot \frac{dg}{dw} = 2ga = 2(aw+b)a = 2a^2w+2ab$$

---

편미분

복수의 변수를 갖는 함수의 예로 w0과 w1의 함수를 생각함

$$ f(w_0, w_1) = w^2_0 + 2w_0w_1 + 3$$

이중 하나의 변수만 예를 들어 ㅈ0에만 주목하여 다른 변수 w1을 상수라고 간주하여 미분하는것을 편미분이라고 함.

'f를 w0로 편미분'을 수식으로 표현하면 다음 식과 같음

$$\frac{\partial f}{\partial w_0}, \frac{\partial}{\partial w_0}f, f'_{w_0}$$

계산 절차는 미분과 동일함.

$$ f(w_0, w_1) = w^2_0 + 2w_0w_1 + 3$$ 

위 식에서 미분공식을 적용하면 다음과 같은 내용을 얻음

$$\frac{\partial f}{\partial w_o} = 2w_0 + 2w_1$$

위 식의 경우에만 주목하여 다음과 같이 해석함.

$$ f(w_0, w_1) = 2w_0 \cdot w_1 + w^2_0 + 3$$

그러면 다음과 같은 식을 얻을 수 있음

$$ \frac{\partial f}{\partial w_1} = 2w_0 $$