Allen's 데이터 맛집

데이터를 수집할 때 많이 쓰이는 라이브러리 Requests에 대해서 알아보겠습니다🎈 Requets 모듈은 웹페이지에서 HTTP 요청을 보내 원하는 HTML 정보를 가져오는 라이브러리입니다. Requests 모듈을 사용하기 위해서는 먼저 웹페이지에서 요청하는 방식인 POST와 GET 방식을 알아야 할 필요가 있습니다. 그 이유는 어떤 방식이냐에 따라 parameter(매개변수)를 전달하는 방법이 다르기 때문입니다. POST인지 GET 방식인지 확인하는 방법은 크롬기준으로 개발자 도구(Ctrl + shift + i) -> Network 목록에 들어가면 수많은 소스가 나오는데 아무 페이지나 이동후 소스파일을 확인해 보면 Request Method : 에서 어떤 방식인지 확인할 수 있습니다. Get 방식 GET..

🤩프로젝트를 시작한 계기 이 전에 했던주식 투자 자동화 트레이딩 봇을 진행하고 통계공부와 데이터 분석가 커뮤니티에서 활동을 하면서 제가 했던 것은 너무 개발자스러웠다는 것을 느꼈습니다. 해당 프로젝트에선 SQL은 없지만 구현이 목표인 프로그래밍보단 데이터를 수집하고 데이터를 전처리하고 활용하는데 쓰이는 Pandas, 그리고 여러 시각화 도구들이 더욱 중요함을 느꼈습니다. 그리하여, 인프런에서 강의를 통해 실제 데이터 분석에 좀 더 가까운 학습을 하고 개인 프로젝트를 만들었습니다. Intro글에서 말했든 강의에서 주는 답안지(코드가 전부 적혀있는)는 열어보지 않고 직접 하나하나 제가 구현을 하면서 다양한 웹 데이터 수집 방법, 그리고 다양한 전처리와 분석 그리고 더더욱 다양한 시각화 도구를 공부해 보았습니..

이번 포스팅에선 분석과 시각화를 해보는 마지막 포스팅으로, 여러 가지 주식 기술 기법들과 지표들을 확인해 보겠습니다. 일별 수익률과 이동평균, 변동성 지표 볼린저 밴드와 % 밴드, RSI, MACD 등의 기법과 지표를 사용해 보겠습니다. 이번 프로젝트와 포스팅의 목표는 해당 주식 기법들을 이해하겠다기 보다는, 이런 기법들이 있고 이것을 저희가 파이썬을 사용해서 어떻게 데이터를 수집하고 전처리를 하며 시각화를 해서 한눈에 알아본다 에 있습니다. 데이터 수집 해당 포스팅에선 주식코드가 '005930'인 삼성전자의 주가로 수집하여 진행해 보겠습니다. 데이터 전처리 Shift를 활용하여 전일 대비 수익률을 구해봅시다. 그리고 pandas의 pct_change를 사용하여 구하고 이를 시각화 하여 확인해 봅니다 이..

tqdm은 total quailty data management의 약자입니다. 이는 파이썬에서 진행 상태를 시각화하는 라이브러리로 사용됩니다. 주로 반복문이나 작업이 얼마나 진행되고 있는지를 간단하게 확인하고자 할 때 유용합니다. for 루프나 다른 반복문에서 요소를 처리하는 동안 해당 작업의 진행 상태를 보여주는 진행 막대를 표시합니다. tqdm을 사용하면 progress 바가 터미널에 표시되며, 현재 작업 진행률, 추정 남은 시간, 처리된 항목의 수 등이 시각적으로 표시됩니다. tqdm을 터미널또는 쥬피터노트북에서 설치합니다. pip install tqdm 아래 그림처럼 tqdm을 import 해주고 실행을 하면 퍼센테이지와 바가 생겨서 얼마나 시간이 걸리는지 확인이 가능합니다