Allen's 데이터 맛집

서버 같은 곳에서 작업을 하면 매번 브라우저를 띄워서 결과를 확인하게 되어 불필요한 메모리를 사용하게 됩니다. 그럴 때 사용하면 좋은 것이 Headless크롬, 말 그대로 크롬이 없는 크롬을 사용하시면 됩니다. 크롬을 띄우지 않고 백그라운드에서 크롬을 실행시켜서 좀 더 빠르고 메모리를 적게 들여서 실행이 가능합니다. 아래 코드를 작성하여 headless를 True로 해주면 크롬 창을 띄우지 않고 실행하게 됩니다 options = webdriver.ChromeOptions() options.headless = True options.add_argument('window-size=1920x1080') 주의할 점! 무분별한 웹 크롤링/웹스크래핑은 대상 서버에 부하를 줘서 계정/ ip 차단될 수 있어요! 데이터..

구글 무비 인기차트에서 데이터를 가져와 보겠습니다. 보통 웹 사이트를 들어가면 접속이 될 때 불러와지는 것이 아니라 사용자의 이벤트가 있을때 동작을 하는 경우를 바로 동적 페이지라고 합니다. 쉽게 말하자면 페이지를 맨 밑까지 내리면 새롭게 로딩이 되면서 새로운 콘텐츠가 뜨는 방식입니다 아래 코드는 순차적으로 로딩을 하며 영화가 뜨기 때문에 스크롤을 가장 밑으로 내리고 2초대기, 다시 가장 밑으로 내리고 2초 대기를 하며 제일 밑까지 이동합니다. 그리고 스크롤 완료 출력 후 영화를 출력하는데 할인된 영화의 정보만 출력합니다. from bs4 import BeautifulSoup import requests import time from selenium import webdriver browser = web..

WinError 10061 는 idle.exe 프로그램에서 서버를 먼저 구동 후, 클라이언트로 접속 시도하면 먼저 실행된 서버 스크립트가 닫히는 오류가 있었습니다. 서버와 클라이언트 프로그램을 각각의 idle.exe 에서 실행 하라는 것입니다

이번에는 네이버 항공권페이지에 들어가서 자동으로 날짜와, 장소를 선택하고 제일 빠른 비행기표를 선택하여 출력해 보겠습니다! from selenium import webdriver import time #셀레니움 메크로 중, 로딩시간일때 끝나면 다음 항목으로 이동 from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC browser = webdriver.Chrome( 'C:\\Users\Vector\Desktop\PythonWorkSpace\.vscode\webscrap..