Allen's 데이터 맛집

tqdm은 total quailty data management의 약자입니다. 이는 파이썬에서 진행 상태를 시각화하는 라이브러리로 사용됩니다. 주로 반복문이나 작업이 얼마나 진행되고 있는지를 간단하게 확인하고자 할 때 유용합니다. for 루프나 다른 반복문에서 요소를 처리하는 동안 해당 작업의 진행 상태를 보여주는 진행 막대를 표시합니다. tqdm을 사용하면 progress 바가 터미널에 표시되며, 현재 작업 진행률, 추정 남은 시간, 처리된 항목의 수 등이 시각적으로 표시됩니다. tqdm을 터미널또는 쥬피터노트북에서 설치합니다. pip install tqdm 아래 그림처럼 tqdm을 import 해주고 실행을 하면 퍼센테이지와 바가 생겨서 얼마나 시간이 걸리는지 확인이 가능합니다

이번 포스팅에서는 제가 개인적으로 관심 있어하는 제약업종의 유사 업종과 테마로 분석해봅시다. 판다스의 read_html에 제약업종 url을 넣어 데이터를 수집하고 여러 전처리(결측치 처리, 파생변수 생성, 불필요한 칼럼제거)를 합니다. 전처리를 마친 데이터를 통해서 시가총액에 제일 높거나 거래량이 제일 높거나 등등 여러 가지 분석을 하고 시각화를 하는 것이 목표입니다. 데이터 수집 read_html에 2차 전지업종 url을 넣고 수집합니다. 데이터들이 table [2]에 있고 결측치를 모두 제거합니다. 종목명 대비 거래량을 bar chart로 그립니다. 상위 30개의 종목들을 시각화해봤을 때 이아이디라는 회사의 거래량이 압도적으로 많은 것을 확인할 수 있습니다. 하지만 거래대금으로 보았을 땐 거래량이 압..

네이버금융에서 ETF 목록 데이터를 수집하고 해당 데이터를 전처리해서 분석을 하고 시각화를 해봅시다! ETF 데이터 수집 수집, 분석 그리고 시각화를 할 라이브러리를 받아오고 requests 라이브러리로 네이버금융 url을 사용하여 찾고자 하는 목록 result와 etfitemlist을 받아와서 저희가 데이터를 EDA를 할 수 있게 키-값 형태의 데이터 프레임 형식으로 만듭니다 info() 함수를 사용하여 데이터들의 정보를 확인해 봅니다. etfTabCode는 해당 사이트에서 전체(0), 국내 시장지수(1), 국내 업종/테마(2), 국내 파생(3) ~ 해외 주식(4), 원자재(5), 채권(6), 기타(7)로 자료가 구분되어 있습니다. 저희는 앞으로 국내 시장지수를 가지고 분석 및 시각화를 할 것이기 때문..

해당 포스트는 파이썬을 사용하여 주식 데이터를 수집하고, 시각화하는 내용을 좀 더 구체적으로 다뤄 보겠습니다. 코드는 FinanceDataReader 라이브러리를 사용하여 주식 데이터를 가져와 개별 종목을 수집합니다 FinanceDataReader를 통해 여러 종목 수익률을 비교 및 시각화를 해서 인사이트를 찾고 pandas를 사용하여 데이터를 가공하고 시각화합니다. 추가로 네이버금융 개별종목을 requests, beautifulsoup4 라이브러리를 사용하여 keyword로 html파일을 읽어와서 데이터를 수집하고 데이터 분석 전문 시각화 도구인 plotly를 통해 일별 시세를 시각화합니다. 개별종목 수집하기 DataReader를 통해서 원하는 종목의 코드를 첫 번째 인자, 그리고 몇 년도부터 몇 년도..