Allen's 데이터 맛집

이번 글에서는 제가 진행한 스마트 팩토리 품질 이상 탐지 프로젝트에서 가장 중요한 데이터셋과 분석 환경을 다룹니다.1. 크로메이트 데이터셋: 품질 분석의 핵심1.1 데이터셋의 구성KAMP(Korea AI Manufacturing Platform)에서 제공한 크로메이트 데이터셋은, 제조 공정 중 발생하는 데이터를 기반으로 합니다.이 데이터셋은 품질 관리를 위해 필수적인 정보를 포함하고 있었는데요, 아래가 주요 컬럼들입니다: Temperature공정 과정의 온도 (°C)pH화학 용액의 산도 (0~14)Pressure공정 중 발생한 압력 (kPa)QualityOutput품질 상태(정상/이상)데이터 특징데이터는 공정 과정에서 센서로 수집된 것으로, 매우 다양한 변수 값과 패턴을 포함하고 있었습니다.특히 온도와 ..

비정상 시계열 데이터는 많은 분석 모델에서 문제를 일으킬 수 있으며, 이를 정상 시계열로 변환하는 과정은 시계열 분석에서 필수적인 단계입니다. 이 글에서는 비정상 시계열을 정상 시계열로 전환하는 다양한 방법과 그 장단점, 그리고 적절한 사용처에 대해 설명하겠습니다. 차분(Differencing) - 설명: 차분은 연속된 관측치 간의 차이를 계산하는 과정입니다. 이 방법은 시계열 데이터의 트렌드나 계절성을 제거하는 데 유용합니다. - 장점: 구현이 간단하고, 계절성이나 트렌드로 인한 비정상성을 효과적으로 제거할 수 있습니다. - 단점: 데이터의 변동성이 큰 경우, 차분만으로는 충분한 정상성을 확보하기 어려울 수 있습니다. - 적용 사례: 주식 가격이나 경제 지표 같은 금융 시계열 데이터에서 트렌드를 제거하..

데이터 과학과 통계 분석의 세계에서 시계열 데이터는 중요한 역할을 합니다. 특히 경제, 금융, 기상학 등 다양한 분야에서 시계열 분석은 필수적인 도구가 되었습니다. 이 글에서는 시계열 데이터의 정의와 분석의 핵심 개념 중 하나인 정상성에 대해 살펴보겠습니다. 시계열 데이터란? 시계열 데이터는 시간 순서대로 정렬된 일련의 관측치를 말합니다. 이 데이터는 시간의 흐름에 따라 어떤 현상이 어떻게 변화하는지를 보여줍니다. 예를 들어, 매일의 주식 가격, 월별 기온 변화, 분기별 GDP 성장률 등이 시계열 데이터에 해당합니다. 정상성이란 무엇인가? 정상성(Stationarity)은 시계열 데이터가 시간의 흐름에 따라 그 통계적 속성이 일정하게 유지되는 성질을 말합니다. 구체적으로는 평균, 분산, 공분산이 시간에 ..