Allen's 데이터 맛집
[6] 프로젝트를 마치며...소감 본문
🤩프로젝트를 시작한 계기
이 전에 했던주식 투자 자동화 트레이딩 봇을 진행하고 통계공부와 데이터 분석가 커뮤니티에서 활동을 하면서 제가 했던 것은 너무 개발자스러웠다는 것을 느꼈습니다.
해당 프로젝트에선 SQL은 없지만 구현이 목표인 프로그래밍보단 데이터를 수집하고 데이터를 전처리하고 활용하는데 쓰이는 Pandas, 그리고 여러 시각화 도구들이 더욱 중요함을 느꼈습니다.
그리하여, 인프런에서 강의를 통해 실제 데이터 분석에 좀 더 가까운 학습을 하고 개인 프로젝트를 만들었습니다.
Intro글에서 말했든 강의에서 주는 답안지(코드가 전부 적혀있는)는 열어보지 않고 직접 하나하나 제가 구현을 하면서 다양한 웹 데이터 수집 방법, 그리고 다양한 전처리와 분석 그리고 더더욱 다양한 시각화 도구를 공부해 보았습니다.
📃프로젝트를 통해 얻은 것
데이터 분석과 시각화를 통해 인사이트를 찾아보기위해, 그리고 증권 데이터로부터 신호와 소음을 찾는 것을 목표로 하여 증권 데이터를 통한 데이터 수집, 분석, 시각화를 다루며, 다양한 데이터 포맷과 텍스트 전처리 기법을 사용해 보았습니다.
또한, FinanceDataReader를 이용해 한 줄로 주가 정보를 수집하는 방법과 판다스를 활용하여 데이터를 수집해 보았습니다. 웹 스크래핑을 통해 복잡한 코딩 없이 데이터를 수집 해봤으며, JSON 파일 포맷을 다루고 시계열 데이터를 다양한 연산과 시각화 기법으로 분석해 보았습니다.
기술적 분석에 대해서도 다루었으며, 보조지표인 볼린저밴드, MACD, RSI 등을 직접 구현하고 원리도 조금이나마 이해해 보았습니다. 또한, 주식 용어에 대한 이해와 파이썬 데이터 분석 라이브러리인 Pandas가 증권가에서 개발되었다는 사실을 알게 되었습니다.
해당 프로젝트를 통해 데이터 수집/전처리 - 분석 - 시각화의 3단계를 거쳐 데이터를 직접 다루는 방법을 익혔습니다. 데이터 기초 체력을 기를 수 있었고, 증권 데이터 분석을 통해 다양한 분석 방법, 통계, 수식 등을 적용해 보는 좋은 경험이었습니다.😀
🛠사용한 스킬들
- 🐼 Pandas : 파이썬의 대표적인 데이터 분석 도구로 금융 데이터 분석을 위해 만들어졌습니다.
- 🧮 Numpy : 파이썬의 수치계산 도구입니다.
- 📊 matplotlib : 파이썬의 대표적인 데이터 시각화 도구입니다.
- 📊 seaborn : matplotlib을 사용하기 쉽게 추상화 해 놓은 고수준 시각화 도구로 기본 통계 연산을 제공합니다.
- 📊 plotly : 고수준, 저수준 시각화 기능을 제공하며 인터랙티브한 시각화가 가능합니다.
- 📊 cufflinks : plotly와 pandas를 강력하게 이어주는 생산적인 도구입니다.
- 📈 FinanceDataReader : 코드 한 두 줄로 금융 데이터를 수집할 수 있는 도구입니다.
- 🌏 Requests : 웹 페이지의 소스코드를 HTTP 통신으로 받아올 수 있는 도구입니다.
- 🔍 BeautifulSoup4 : 웹 페이지의 소스코드에서 원하는 정보를 가져올 수 있는 도구입니다.
- ⏰ tqdm : 데이터 수집이나 전처리에서 오래 걸리는 작업의 진행 상태를 볼 수 있습니다.
GITHUB : https://github.com/siilver94/Stock-data-collection-analysis-and-visualization