Allen's 데이터 맛집
[4] 리뷰 본문
제가 진행한 제조 데이터 분석 프로젝트에 대해 느낀 점과 배운 점, 그리고 어려움을 극복한 경험을 공유해보려고 합니다. 이 프로젝트는 CLASS101의 제조 데이터 분석 강의를 통해 진행되었으며, 데이터를 분석하고 공정 효율성을 높이기 위한 다양한 방법을 학습했습니다.
프로젝트 회고록
프로젝트의 시작
이 프로젝트는 제조 공정 데이터를 분석하여 품질을 개선하고, 공정 효율성을 높이는 것을 목표로 했습니다. 처음 프로젝트를 시작할 때는 방대한 데이터와 복잡한 공정에 압도될 것 같았습니다. 하지만 단계별로 접근하니 점차 문제를 해결해 나갈 수 있었습니다.
데이터 전처리
데이터 전처리는 분석의 첫 단계였습니다. 결측치 처리, 이상치 제거, 데이터 정규화 등 다양한 작업을 거치며 데이터의 품질을 향상시켰습니다. 이 과정에서 Pandas와 NumPy의 강력한 기능을 활용할 수 있었습니다.
탐색적 데이터 분석 (EDA)
EDA 단계에서는 데이터의 분포와 특성을 파악하기 위해 다양한 시각화 기법을 사용했습니다. 히스토그램, 박스플롯, 상관관계 히트맵 등을 통해 데이터를 깊이 있게 이해할 수 있었습니다. 시각화를 통해 숨겨진 패턴과 이상치를 쉽게 파악할 수 있었습니다.
통계적 가설 검정
통계적 가설 검정을 통해 데이터에서 유의미한 차이를 발견할 수 있었습니다. t-검정과 ANOVA를 사용하여 두 그룹 간의 평균 차이를 검정하고, p-value를 통해 결과를 해석했습니다. 이 과정은 데이터 기반의 결정을 내리는 데 매우 유용했습니다.
모델링과 예측
모델링 단계에서는 선형 회귀, 의사결정나무, 랜덤 포레스트 등의 모델을 사용하여 데이터를 예측했습니다. 모델의 성능을 평가하고 비교하면서 최적의 모델을 선택하는 과정이 매우 흥미로웠습니다. 특히, 랜덤 포레스트 모델이 가장 높은 정확도를 보여주었습니다.
어려웠던 점과 해결 방법
가장 어려웠던 점은 방대한 데이터와 복잡한 공정을 이해하고 분석하는 것이었습니다. 이 과정에서 데이터 전처리와 EDA를 통해 데이터를 이해하고 정리하는 것이 큰 도움이 되었습니다. 또한, 모델링 과정에서 여러 알고리즘을 비교하고 최적의 모델을 선택하는 과정이 도전적이었지만 매우 보람 있었습니다.
배운 점
이번 프로젝트를 통해 데이터 분석의 전체 과정을 체계적으로 배울 수 있었습니다. 데이터 전처리, EDA, 통계적 가설 검정, 모델링과 예측 등 각 단계를 경험하며 데이터 분석의 중요성과 재미를 느낄 수 있었습니다. 또한, 파이썬의 강력한 데이터 분석 도구들을 활용하여 실제 데이터를 다루는 능력을 향상시킬 수 있었습니다.
결론 및 앞으로의 방향
이 프로젝트를 통해 얻은 인사이트를 바탕으로, 앞으로 더 많은 데이터 분석 프로젝트를 진행해보고 싶습니다. 데이터 분석을 통해 문제를 해결하고, 더 나은 결정을 내릴 수 있는 능력을 키워나가고 싶습니다. 또한, 새로운 데이터 분석 기법과 도구들을 계속해서 학습하고 적용해 나갈 것입니다.
CLASS101링크:https://class101.net/classic/products/Wzhzd2eWzGnwVXwFjmug
