파라미터(Parameter)와 하이퍼파라미터(HyperParameter)란?

파라미터란?

파라미터는 모델 자체가 데이터를 학습하면서 조정하는 '가중치' 같은 것이라고 생각하시면 됩니다. 예를 들어, 선형 회귀 모델에서 직선의 기울기와 절편이 파라미터입니다.

모델의 구성요소이며 데이터로부터 학습되는 것입니다.

Linear Regression에서 y = Wx + b와 같은 직선 방정식의 W, b를 찾는 것

 

하이퍼 파라미터란?

반면에 하이퍼파라미터는 모델 학습 전에 수동으로 설정해야 하는 조절용 값으로, 모델의 학습 방식을 조정하는 역할을 합니다. 예를 들어, 신경망에서 학습률이나 은닉층의 개수 같은 값들이 하이퍼파라미터입니다.

kNN에서 k의 개수, Ridge, Lasso의 α값, Learning Rate 등