Statistics5 최대 우도 추정법 (Maximum Likelihood Estimation) 이 글에서는 확률론과 통계학에서 널리 사용되는 추정 기법 중 하나인 최대 우도 추정(Maximum Likelihood Estimation, 이하 MLE)에 대해 설명할 것입니다. MLE는 관측 데이터로부터 “가장 Likelihood가 높은” 확률 분포의 파라미터를 추정하는데 사용되는 기법입니다. (Likelihood가 무엇인지는 뒤에서 이야기하도록 하겠습니다.) MLE의 기본 원리 1. 확률 분포의 선택 MLE를 수행하기 위해서는 먼저 데이터를 잘 설명할 수 있는 적절한 확률 분포를 선택해야 합니다. 예를 들어 봅시다. 아래는 대구 경북고등학교 3학년 1반 학생들의 몸무게 분포를 조사하여 점으로 표기한 것입니다. 대략 어떤 분포로 근사하면 저 분포를 잘 설명할 수 있을까요? 표준 편차가 적절히 조절된 정.. 2023. 8. 4. 분포들 사이의 관계 1 (Relationship Between Distributions 1) 예전부터 통계 관련 강의를 들을 때마다 나오는 다양한 분포 (Distribution)에 대하여 궁금한 점이 많았습니다. F 분포가 뭐지? Gamma 분포는 또 뭘까? 하는 생각을 많이 하곤 했는데, 이번 글에서 그에 대한 제 나름의 답을 최대한 수식 없이 정리해보겠습니다. 식을 포함한 자세한 포스팅은 다음에 추가하고, 이번에는 개념적으로만 서술해보도록 노력해보겠습니다. 먼저, 동전이 던져서 앞면/뒷면이 나오는 사건, 한쪽 면에 잼을 바른 빵을 떨어뜨렸는데 잼을 바른 면/잼을 바르지 않은 면으로 떨어지는 사건과 같이 두 가지 결과만 나올 수 있는 독립시행을 베르누이 (Bernoulli) 독립시행이라고 합니다. 베르누이 독립시행을 여러 번 시행했을 때 특정 사건의 발생 확률은 이항분포를 따릅니다. 이항분포는.. 2022. 1. 20. 포아송분포의 적률생성함수 (Moment Generating Function of Poisson Distribution) 포아송분포 $Poisson(\lambda)$의 적률생성함수에 대하여 알아봅시다. 적률생성함수에 대해서 아직 모르시는 분들은 여기를 확인해보시면 됩니다. $$e^{a}=\sum^{\infty}_{x=0}\frac{a^x}{x!}$$ 인 사실을 이용하면 다음과 같이 구할 수 있습니다. $$\begin{align*} M(t)&=\sum^{\infty}_{x=0}e^{tx}f(x)=\sum^{\infty}_{x=0}e^{tx}\frac{\lambda^{x}e^{-\lambda}}{x!} \\ &=e^{-\lambda}\sum^{\infty}_{x=0}\frac{(\lambda e^t)^x}{x!} \\ &=e^{-\lambda}e^{\lambda e^t} \\ &=e^{\lambda (e^t-1)} \end{a.. 2022. 1. 20. 적률생성함수 (Moment Generating Function) 적률생성함수에서 '적률'은 '積率'으로 '쌓을 적'과 '비율 률'을 씁니다. 영어로는 moment라고 합니다. 개인적으로 한자와 영어 둘다 적률의 수학적 의미와 직관적으로 연결되지는 않는 것 같습니다. 적률은 '확률 분포의 위치나 모양을 나타내는 기댓값'입니다. 확률 분포에 대한 설명이 담겨있는 값으로 풀어서 이야기 할 수 있습니다. 분포의 평균이나 분산 같은 정보를 담고 있는 것이 moment라고 생각하시면 되겠습니다. 이 moment를 생성하는 함수가 moment generating function입니다. 적률생성함수에 대해 알아보기 위해 확률변수의 기댓값을 먼저 확인해봅시다. 확률변수 $X$와 $X^2$의 기댓값은 다음과 같이 정의됩니다. $$\begin{align*} &E[X] = \int_{-\.. 2022. 1. 20. 포아송분포 (Poisson Distribution) 이항분포가 적용될 수 있는 실제 문제에서 $n$이 충분히 크고 성공률 $p$는 충분히 작은 때가 많이 있습니다. 예를 들어 자동차 사고에 의한 사망자수, 보험회사의 보험금 지급 건수 등이 그러한 경우입니다. 이러한 경우에 이항 분포의 확률을 정확히 계산하는 것은 매우 어려운 일이 됩니다. 이항확률의 근사계산에 대하여 알아봅시다. 표현의 간결성을 위하여 $np=\lambda$라는 일정한 값을 유지하면서 $n$이 충분히 크고 $p$가 충분히 작다고 합시다. 수학에서 알려진 사실인 $$\lim_{n\rightarrow\infty} (1+\frac{a}{n})^{n} = e^{a}$$ 를 이용하면, 이항확률은 $$\begin{align*}\begin{pmatrix}n\\x\end{pmatrix}p^x(1-p)^.. 2022. 1. 11. 이전 1 다음
