Allen's 데이터 맛집

빅데이터를 머신러닝 모델로 학습할 때 발생하는 시간 문제를 해결하기 위해 학습된 모델을 저장하고 다시 로드하는 방법에 대해 공유해보려고 합니다. 이 방법을 사용하면 모델을 매번 새로 학습하지 않고, 저장된 모델을 불러와 사용할 수 있어 매우 효율적입니다. 1. 프로젝트 개요빅데이터를 머신러닝 모델로 학습할 때, 일반 컴퓨터로는 매우 오랜 시간이 걸릴 수 있습니다. 매번 모델을 새로 학습하는 것은 비효율적이므로, 학습된 모델을 저장하고 이를 다시 로드하여 사용하는 방법을 알아보겠습니다.2. 모델 저장하기모델 학습 후, 학습된 모델을 파일로 저장할 수 있습니다. 여기서는 sklearn과 tensorflow를 사용하여 모델을 저장하는 방법을 소개합니다.  2.1. sklearn 모델 저장하기sklearn 모델..

제가 진행한 제조 데이터 분석 프로젝트에 대해 느낀 점과 배운 점, 그리고 어려움을 극복한 경험을 공유해보려고 합니다. 이 프로젝트는 CLASS101의 제조 데이터 분석 강의를 통해 진행되었으며, 데이터를 분석하고 공정 효율성을 높이기 위한 다양한 방법을 학습했습니다.  프로젝트 회고록 프로젝트의 시작이 프로젝트는 제조 공정 데이터를 분석하여 품질을 개선하고, 공정 효율성을 높이는 것을 목표로 했습니다. 처음 프로젝트를 시작할 때는 방대한 데이터와 복잡한 공정에 압도될 것 같았습니다. 하지만 단계별로 접근하니 점차 문제를 해결해 나갈 수 있었습니다. 데이터 전처리데이터 전처리는 분석의 첫 단계였습니다. 결측치 처리, 이상치 제거, 데이터 정규화 등 다양한 작업을 거치며 데이터의 품질을 향상시켰습니다. 이..

이번 포스팅에서는 여러 알고리즘을 비교하고 결과를 해석하는 과정을 다루겠습니다. 여러 알고리즘 비교 여러 알고리즘의 성능을 비교하여 최적의 모델을 선택했습니다. 교차 검증과 ROC 곡선을 통해 모델의 성능을 평가했습니다.from sklearn.model_selection import cross_val_score# 교차 검증cv_scores = cross_val_score(rf_model, X, y, cv=5)print(f"교차 검증 점수: {cv_scores}")# ROC 곡선from sklearn.metrics import roc_curve, aucfpr, tpr, _ = roc_curve(y_test, rf_predictions)roc_auc = auc(fpr, tpr)print(f"ROC AUC: ..

이번 포스팅에서는 데이터 분석 프로젝트의 모델링과 예측 단계에 대해 다뤄보겠습니다. 데이터를 통해 예측 모델을 만들어보는 과정입니다.모델링모델링은 데이터를 통해 예측 모델을 만드는 과정입니다. 여기서는 선형 회귀, 의사결정나무, 랜덤 포레스트 등의 모델을 사용했습니다.from sklearn.model_selection import train_test_splitfrom sklearn.linear_model import LinearRegressionfrom sklearn.metrics import mean_squared_error# 데이터 분할X = df[['temperature', 'pressure']]y = df['defect_rate']X_train, X_test, y_train, y_test = tr..