Allen's 데이터 맛집

서버 같은 곳에서 작업을 하면 매번 브라우저를 띄워서 결과를 확인하게 되어 불필요한 메모리를 사용하게 됩니다. 그럴 때 사용하면 좋은 것이 Headless크롬, 말 그대로 크롬이 없는 크롬을 사용하시면 됩니다. 크롬을 띄우지 않고 백그라운드에서 크롬을 실행시켜서 좀 더 빠르고 메모리를 적게 들여서 실행이 가능합니다. 아래 코드를 작성하여 headless를 True로 해주면 크롬 창을 띄우지 않고 실행하게 됩니다 options = webdriver.ChromeOptions() options.headless = True options.add_argument('window-size=1920x1080') 주의할 점! 무분별한 웹 크롤링/웹스크래핑은 대상 서버에 부하를 줘서 계정/ ip 차단될 수 있어요! 데이터..

이번에는 네이버 항공권페이지에 들어가서 자동으로 날짜와, 장소를 선택하고 제일 빠른 비행기표를 선택하여 출력해 보겠습니다! from selenium import webdriver import time #셀레니움 메크로 중, 로딩시간일때 끝나면 다음 항목으로 이동 from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC browser = webdriver.Chrome( 'C:\\Users\Vector\Desktop\PythonWorkSpace\.vscode\webscrap..

이번에는 웹크롤링을 자동으로 할 때 강력한 프레임워크인 셀레늄(Selenium)을 사용해 보겠습니다 :) # 셀리니움 다운로드 pip install selenium 셀리니움을 다운 받으시고 크롬 드라이버도 같이 다운로드를 해주세요 버전은 인터넷 창에서 chrome://version 을 입력하시면 버전 및 정보가 나옵니다. https://chromedriver.chromium.org/downloads에서 맞는 버전 드라이버 다운로드하여주세요 아래의 send_keys에서 본인의 아이디와 패스워드를 입력하시면 크롬창이 켜지면서 네이버에서 자동으로 로그인을 하게 됩니다. from selenium import webdriver import time browser = webdriver.Chrome( 'C:\\Use..

네이버 금융에서 시가총액 1위부터 200위까지의 주식 정보를 csv파일 형식으로 저장하는 예제입니다. import csv import requests from bs4 import BeautifulSoup url = 'https://finance.naver.com/sise/sise_market_sum.nhn?sosok=0&page=' filename = '시가총액1-200.csv' #엑셀 파일로 열때 문자가 깨지면, utf8 이 아니라 utf-8-sig로 입력 f = open(filename, 'w', encoding='utf-8-sig', newline='') writer = csv.writer(f) title = 'N종목명현재가전일비등락률액면가시가총액상장주식수외국인비율거래량PERROE토론실'.split..