Allen's 데이터 맛집

이번 글에서는 스마트팩토리 제조 데이터 분석 프로젝트의 중요한 첫 단계인 EDA를 다룹니다.데이터 전처리는 머신러닝 모델의 성능을 좌우하는 핵심 과정으로, 데이터를 정리하고 분석 가능한 상태로 만드는 작업입니다.1. 데이터 전처리: 데이터를 다듬는 과정1.1 결측값 처리수집된 제조 공정 데이터는 종종 결측값(missing values)을 포함하고 있습니다.센서 오류, 네트워크 문제 등으로 인해 발생한 결측값을 적절히 처리하지 않으면 분석 결과가 왜곡될 수 있습니다.처리 방법수치형 변수:온도(temperature)와 압력(pressure)의 결측값을 평균값으로 대체.범주형 변수:품질 상태와 같은 범주형 변수는 **가장 빈번히 나타나는 값(모드)**로 대체.# 결측값 처리 예제data['temperature..

이 블로그에서는 CLASS101의 제조 데이터 분석 강의를 기반으로 진행한 프로젝트를 소개합니다.이번 프로젝트는 제조 공정 데이터를 분석하고, 품질 관리 및 공정 최적화를 위한 인사이트를 도출하는 데 중점을 두었습니다. 프로젝트 배경: 왜 제조 공정 데이터인가?제조업은 공정 효율성과 품질 관리가 곧 경쟁력이 되는 산업입니다.특히, 제조 공정 중 발생하는 데이터를 분석하면 불량률 감소, 생산성 향상, 비용 절감이라는 세 가지 주요 목표를 달성할 수 있습니다.이번 프로젝트는 다음과 같은 배경에서 시작되었습니다:데이터 기반 의사결정의 필요성:제조 공정 데이터를 통해 문제를 사전에 발견하고 해결.실시간 품질 관리:센서 데이터를 분석하여 불량률을 줄이고 최적의 공정 조건을 제안.자동화 가능성 탐구:데이터 분석을 ..

이번 글에서는 제가 진행한 스마트 팩토리 품질 이상 탐지 프로젝트에서 가장 중요한 데이터셋과 분석 환경을 다룹니다.1. 크로메이트 데이터셋: 품질 분석의 핵심1.1 데이터셋의 구성KAMP(Korea AI Manufacturing Platform)에서 제공한 크로메이트 데이터셋은, 제조 공정 중 발생하는 데이터를 기반으로 합니다.이 데이터셋은 품질 관리를 위해 필수적인 정보를 포함하고 있었는데요, 아래가 주요 컬럼들입니다: Temperature공정 과정의 온도 (°C)pH화학 용액의 산도 (0~14)Pressure공정 중 발생한 압력 (kPa)QualityOutput품질 상태(정상/이상)데이터 특징데이터는 공정 과정에서 센서로 수집된 것으로, 매우 다양한 변수 값과 패턴을 포함하고 있었습니다.특히 온도와 ..

1. 데이터 분석1.1 상관관계 분석각 변수와 가격 간의 관계를 분석하여 중요한 특징을 도출합니다.주요 인사이트:제조 연도(Year)는 차량 가격에 긍정적인 영향을 미침(새로운 차량일수록 높은 가격).주행 거리(Mileage)는 차량 가격에 부정적인 영향을 미침(많이 주행한 차량일수록 낮은 가격).1.2 데이터 시각화가격과 주요 변수 간의 관계를 시각화하여 데이터를 직관적으로 이해.히스토그램: 가격 분포.박스플롯: 연료 타입별 가격 차이.2. 머신러닝 모델 구현2.1 사용된 알고리즘선형 회귀(Linear Regression):가격과 변수 간의 선형 관계를 모델링.랜덤 포레스트(Random Forest):비선형 관계와 변수 중요도를 파악하는 데 유용.XGBoost:강력한 부스팅 알고리즘으로, 고성능 예측 ..