최대 가능도 추정법

최대 가능도 추정법(Maximum Likelihood Estimation, MLE)은 확률 분포에 기반하여 모델의 파라미터를 추정하는 통계적 방법 중 하나입니다. 이 방법은 주어진 데이터를 가장 그럴듯하게 설명하는 모델 파라미터 값을 찾는 것을 목표로 합니다.

 

---

최대 가능도 추정법의 핵심 

가능도 함수 (Likelihood Function): 주어진 표본 데이터에 대한 확률 분포를 나타내는 가능도 함수를 정의합니다. 이 함수는 모델 파라미터를 입력으로 받아, 주어진 데이터가 발생할 확률을 나타냅니다.

로그 가능도 함수 (Log-Likelihood Function): 가능도 함수를 로그 변환한 로그 가능도 함수를 사용합니다. 이는 계산의 편의성 및 수치 안정성을 높이기 위한 목적이 있습니다.

모수 추정: 로그 가능도 함수를 최대화하는 모델 파라미터 값을 찾습니다. 이는 가능도 함수를 최대화하는 것과 동일한 결과를 얻게 됩니다.

최대 가능도 추정법의 특징:

- 일치성: 표본의 크기가 무한히 커질 때, 최대 가능도 추정량은 실제 모수에 수렴합니다.
- 효율성: 통계적으로 최적의 성질을 가지며, 크레이머-라오 하한(Cramér-Rao bound)에 가까운 효율을 보여줍니다.
- 비편향성: 추정량이 편향(bias)이 없는 성질을 가집니다.

 

최대 가능도 추정법은 많은 통계적 모델에서 사용되며, 특히 확률 분포가 확실하게 정의되어 있는 경우에 효과적으로 적용됩니다.