Allen's 데이터 맛집

네이버 금융에서 시가총액 1위부터 200위까지의 주식 정보를 csv파일 형식으로 저장하는 예제입니다. import csv import requests from bs4 import BeautifulSoup url = 'https://finance.naver.com/sise/sise_market_sum.nhn?sosok=0&page=' filename = '시가총액1-200.csv' #엑셀 파일로 열때 문자가 깨지면, utf8 이 아니라 utf-8-sig로 입력 f = open(filename, 'w', encoding='utf-8-sig', newline='') writer = csv.writer(f) title = 'N종목명현재가전일비등락률액면가시가총액상장주식수외국인비율거래량PERROE토론실'.split..

다음(Daum)의 영화 페이지에서 웹 크롤링을 진행 해보겠습니다. 다음의 영화사이트에서 2015년부터 2020년까지 1~5위까지 영화 이미지를 자동으로 다운로드하는 코드입니다 import requests from bs4 import BeautifulSoup #2015년부터 2020년 까지 1-5위 영화 이미지 다운 for year in range(2015,2020): url = ('https://search.daum.net/search?w=tot&q={}\ %EB%85%84%EC%98%81%ED%99%94%EC%88%9C%EC%9C%84&DA=MOR&rtmaxcoll=MOR').format(year) res = requests.get(url) res.raise_for_status() soup = Beau..

이번 웹 크롤링은 쿠팡에서 분별력 있는 데이터를 필터링하여 수집해 보겠습니다 데이터는 임의로 '노트북'에 대해서 검색해 보겠습니다. 쿠팡에 들어가서 먼저 수많은 페이지가 있지만 그중에서 1~5페이지까지 노트북을 검색해 봅니다 그리고 평점이 좋은 노트북만 보고 싶어, 평점수가 100개 이상 그리고 평점이 4.5 이상인 것들을 추려봅니다. 애플 제품과 광고성으로 상단에 나오는 제품은 제외합니다 출력은 제품명, 가격, 평점, 바로가기 링크를 출력해 봅니다. import requests import re from bs4 import BeautifulSoup headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (..

이번엔 네이버 웹툰 페이지에서 웹툰의 제목과 평점을 가져오는 간단한 웹 스크래핑을 해보겠습니다:) 코드를 통해 웹툰의 제목과 해당 웹툰의 평점을 추출하고, 전체 평균 평점을 계산합니다. import requests from bs4 import BeautifulSoup url = 'https://comic.naver.com/webtoon/list.nhn?titleId=64997' res = requests.get(url) res.raise_for_status() soup = BeautifulSoup(res.text, 'lxml') cartoons = soup.find_all('td', attrs = {'class':'title'}) #평점 구하기 total_rates = 0 #전체 평점 cartoons =..