Allen's 데이터 맛집

제가 진행한 제조 데이터 분석 프로젝트에 대해 느낀 점과 배운 점, 그리고 어려움을 극복한 경험을 공유해보려고 합니다. 이 프로젝트는 CLASS101의 제조 데이터 분석 강의를 통해 진행되었으며, 데이터를 분석하고 공정 효율성을 높이기 위한 다양한 방법을 학습했습니다.  프로젝트 회고록 프로젝트의 시작이 프로젝트는 제조 공정 데이터를 분석하여 품질을 개선하고, 공정 효율성을 높이는 것을 목표로 했습니다. 처음 프로젝트를 시작할 때는 방대한 데이터와 복잡한 공정에 압도될 것 같았습니다. 하지만 단계별로 접근하니 점차 문제를 해결해 나갈 수 있었습니다. 데이터 전처리데이터 전처리는 분석의 첫 단계였습니다. 결측치 처리, 이상치 제거, 데이터 정규화 등 다양한 작업을 거치며 데이터의 품질을 향상시켰습니다. 이..

이번 포스팅에서는 여러 알고리즘을 비교하고 결과를 해석하는 과정을 다루겠습니다. 여러 알고리즘 비교 여러 알고리즘의 성능을 비교하여 최적의 모델을 선택했습니다. 교차 검증과 ROC 곡선을 통해 모델의 성능을 평가했습니다.from sklearn.model_selection import cross_val_score# 교차 검증cv_scores = cross_val_score(rf_model, X, y, cv=5)print(f"교차 검증 점수: {cv_scores}")# ROC 곡선from sklearn.metrics import roc_curve, aucfpr, tpr, _ = roc_curve(y_test, rf_predictions)roc_auc = auc(fpr, tpr)print(f"ROC AUC: ..

이번 포스팅에서는 데이터 분석 프로젝트의 모델링과 예측 단계에 대해 다뤄보겠습니다. 데이터를 통해 예측 모델을 만들어보는 과정입니다.모델링모델링은 데이터를 통해 예측 모델을 만드는 과정입니다. 여기서는 선형 회귀, 의사결정나무, 랜덤 포레스트 등의 모델을 사용했습니다.from sklearn.model_selection import train_test_splitfrom sklearn.linear_model import LinearRegressionfrom sklearn.metrics import mean_squared_error# 데이터 분할X = df[['temperature', 'pressure']]y = df['defect_rate']X_train, X_test, y_train, y_test = tr..

이번엔 데이터 분석 프로젝트의 두 번째 단계인 탐색적 데이터 분석(EDA)과 통계적 가설 검정에 대해 이야기해보겠습니다.  탐색적 데이터 분석 (EDA) EDA는 데이터의 분포와 특성을 파악하는 과정입니다. 히스토그램, 박스플롯, KDE 플롯 등을 사용해 데이터를 시각화할 수 있습니다.import seaborn as snsimport matplotlib.pyplot as plt# 히스토그램sns.histplot(df['temperature'])plt.show()# 박스플롯sns.boxplot(x='pressure', data=df)plt.show() 상관관계 분석을 통해 변수들 간의 관계도 파악할 수 있습니다.# 상관관계 히트맵corr = df.corr()sns.heatmap(corr, annot=Tru..