Allen's 데이터 맛집

오늘은 머신러닝에서 목표변수가 범주형일 때, 모델의 불순도를 측정하는 중요한 지표들을 알아보려고 합니다. 지니지수, 엔트로피 지수, 카이제곱 통계량, 그리고 그 유의확률에 대해 함께 살펴봅시다. 1. 지니지수: 지니지수는 불순도를 측정하는 지표 중 하나로, 0에서 1 사이의 값을 가집니다. 0에 가까울수록 데이터가 순수하게 한 클래스로 이루어져 있음을 의미하고, 1에 가까울수록 데이터가 여러 클래스로 섞여 있음을 나타냅니다. 머신러닝에서는 의사결정 트리의 노드 분할에서 주로 사용됩니다. 2. 엔트로피 지수: 엔트로피 지수는 정보 이론에서 유래한 개념으로, 데이터의 혼잡도를 나타냅니다. 엔트로피가 높을수록 데이터가 혼잡하게 섞여 있고, 낮을수록 정돈되어 있는 것을 의미합니다. 역시 0에서 1 사이의 값을 ..