적률생성함수 (Moment Generating Function)

적률생성함수에서 '적률'은 '積率'으로 '쌓을 적'과 '비율 률'을 씁니다. 영어로는 moment라고 합니다. 개인적으로 한자와 영어 둘다 적률의 수학적 의미와 직관적으로 연결되지는 않는 것 같습니다. 적률은 '확률 분포의 위치나 모양을 나타내는 기댓값'입니다. 확률 분포에 대한 설명이 담겨있는 값으로 풀어서 이야기 할 수 있습니다. 분포의 평균이나 분산 같은 정보를 담고 있는 것이 moment라고 생각하시면 되겠습니다. 이 moment를 생성하는 함수가 moment generating function입니다.

 

적률생성함수에 대해 알아보기 위해 확률변수의 기댓값을 먼저 확인해봅시다. 확률변수 $X$와 $X^2$의 기댓값은 다음과 같이 정의됩니다.

$$\begin{align*} &E[X] = \int_{-\infty}^{\infty}x P_X  (x)dx \\ &E[X^2] = \int_{-\infty}^{\infty}x^2 P_X  (x)dx \\ \end{align*}$$

 

이러한 $E[X]$이나 $E[X^2]$을 매번 적분하지 않고 쉽게 구할 수 없을까요? 보통 적분보다는 미분이 간편하니 미분으로 구할 방법이 없나 생각해봅시다. 이때 적률생성함수가 등장합니다.

 

적률생성함수 $M(t)$는 확률 분포 $P_{X}(x)$에 대하여

$$M_{X}(t)= E[e^{tX}]= \int_{-\infty}^{\infty}e^{tx}P_{X}(x)dx$$

의 식으로 정의 되는데, 위의 식에서 자연상수 부분을 풀어쓰면 아래와 같습니다.

$$M_{X}(t)= E[e^{tX}]=E[1+tX+\frac{t^2X^2}{2!}+\cdots ]$$

여기까지 보고 나면 직관적으로 이해가 되실 겁니다.

$$\begin{align*} &\bigg[\frac{d}{dt}M(t)\bigg]_{t=0}=\bigg[ E[X]+tE[X^2]+\frac{t^2}{2!}E[X^3]+\cdots\bigg]_{t=0} = E[X] \\ &\bigg[\frac{d^2}{dt^2}M(t)\bigg]_{t=0}=\bigg[ E[X^2]+tE[X^3]+\frac{t^2}{2!}E[X^4]+\cdots\bigg]_{t=0} = E[X^2] \\ &\qquad\qquad\qquad\vdots \\ &\bigg[\frac{d^k}{dt^k}M(t)\bigg]_{t=0}=E[X^k] \\ \end{align*}$$

가 성립합니다.

 

이때 $\bigg[\frac{d^k}{dt^k}M(t)\bigg]_{t=0}=E[X^k]$를 $P_{X}(x)$의 $k$차 적률(moment)이라 부르고, 이는 $P$가 확률변수 $X$의 분포를 나타낼 때,

$$E(X^{k})\qquad (k=0, 1, 2,;\cdots)$$

와 같습니다. 이러한 뜻에서 $M(t)$를 $P_X$의 적률생성함수 (moment generating function)라고 부릅니다.

 

한 가지 예시로 Gaussian distribution의 적률생성함수를 살펴봅시다. Gaussian distribution의 적률생성함수는 $M_X(t)=e^{t\mu+\frac{1}{2}\sigma^2t^2}$입니다. 1차 적률이 $E[X]$를 만족하는지 확인해봅시다.

 

$$\bigg[\frac{d}{dt}M(t)\bigg]_{t=0}=\bigg[\mu e^{t\mu}e^{\frac{1}{2}\sigma^2 t^2}+e^{t\mu}\sigma^2 t e^{\frac{1}{2}\sigma^2 t^2}\bigg]_{t=0}=\mu$$

 

성립함을 확인할 수 있습니다.

출처

• 김우철. 수리통계학 = Mathematical Statistics / 김우철 지음, 2012.
• https://www.youtube.com/watch?v=wjwLTNYOuI4