목록맛집 List (320)
Allen's 데이터 맛집
먼저 도커란 무엇인가? 공식 홈페이지에서 도커의 개요를 보면 "도커(Docker)는 컨테이너 이동을 주도하는 회사이며 하이브리드 클라우드의 모든 애플리케이션을 처리할 수 있는 유일한 컨테이너 플랫폼 제공 업체입니다 “라고 쓰여있습니다 여기서 '컨테이너'란 말에 주목할 필요가 있습니다 컨테이너란 무엇일까? 그림을 보면 대충 감이 올 겁니다. 도커 이미지를 보면 귀여운 배 위에 컨테이너를 올린 모습을 볼 수 있습니다 대충 아! 컨테이너란 "다양한 OS에 여러 application이 올려져 있는 것"을 의미하는 거고 그런 컨테이너를 도커 위에 올리는구나라고 생각하시면 됩니다 그럼 이미 존재하는 Virtual Machines랑 뭐가 다를까요? 물론 다릅니다. 위에 그림을 보면 각 컨테이너가 같은 Kernel을 ..
서버 같은 곳에서 작업을 하면 매번 브라우저를 띄워서 결과를 확인하게 되어 불필요한 메모리를 사용하게 됩니다. 그럴 때 사용하면 좋은 것이 Headless크롬, 말 그대로 크롬이 없는 크롬을 사용하시면 됩니다. 크롬을 띄우지 않고 백그라운드에서 크롬을 실행시켜서 좀 더 빠르고 메모리를 적게 들여서 실행이 가능합니다. 아래 코드를 작성하여 headless를 True로 해주면 크롬 창을 띄우지 않고 실행하게 됩니다 options = webdriver.ChromeOptions() options.headless = True options.add_argument('window-size=1920x1080') 주의할 점! 무분별한 웹 크롤링/웹스크래핑은 대상 서버에 부하를 줘서 계정/ ip 차단될 수 있어요! 데이터..
구글 무비 인기차트에서 데이터를 가져와 보겠습니다. 보통 웹 사이트를 들어가면 접속이 될 때 불러와지는 것이 아니라 사용자의 이벤트가 있을때 동작을 하는 경우를 바로 동적 페이지라고 합니다. 쉽게 말하자면 페이지를 맨 밑까지 내리면 새롭게 로딩이 되면서 새로운 콘텐츠가 뜨는 방식입니다 아래 코드는 순차적으로 로딩을 하며 영화가 뜨기 때문에 스크롤을 가장 밑으로 내리고 2초대기, 다시 가장 밑으로 내리고 2초 대기를 하며 제일 밑까지 이동합니다. 그리고 스크롤 완료 출력 후 영화를 출력하는데 할인된 영화의 정보만 출력합니다. from bs4 import BeautifulSoup import requests import time from selenium import webdriver browser = web..