Allen's 데이터 맛집

도커 환경에서 개발환경 설정 1. cmd에서 docker pull ubuntu:16.04 [우분투 파일 들고 오기] 2. docker run -it ubuntu:16.04 [우분투 실행] 3. apt-get update [우분투 업데이트 실시] 4. apt-get install -y python3 python3-pip [y 옵션으로 python3와 python3 pip 설치] 5. pip3 install selenium [셀리니움 설치] 6. pip3 install beautifulsoup4 [뷰티풀 습 다운] 팬텀JS 다운로드 1. apt-get install -y wget libfontconfig [펜텀 js 다운로드] 2. mkdir -p /home/root/src && cd$_ [해당 폴더를 생성..

PhantomJS란? PhantomJS는 브라우저 역할을 하는 Headless 웹 킷입니다. 이해하기 쉽게 설명하자면, 브라우저가 없는 브라우저라고 생각하시면 됩니다. Headless browser란? 헤드리스 브라우저는 그래픽 유저 인터페이스가 없는 웹브라우저를 뜻합니다. 헤드리스 브라우저는 웹 브라우저와 유사한 환경을 가졌지만 커맨드 라인 인터페이스를 통해 실행하고 제어할 수 있는 브라우저들을 말합니다. 헤드리스 브라우저엔 자바로 작성된 HtmlUnit이라는 것도 많이 사용됐었습니다. 이미지 출처 : https://tech.buzzvil.com/blog/scaling-phantomjs-ghost-town/ 1. 웹 페이지 자동화 PhantomJS는 웹 페이지를 불러오고 자동으로 상호 작용하는 데 사용..

오늘은 파이썬을 사용하여 웹페이지에서 정보를 가져오는 방법을 알려드릴게요. 세션메서드를 사용하여 다음 사이트에 로그인을 하여 해당 날짜를 확인하는 코드 먼저, requests와 BeautifulSoup이라는 도구를 사용해 웹페이지에 접속하고 정보를 가져옵니다. 세션을 만들어서 로그인을 하고, 로그인한 세션으로 원하는 정보가 있는 웹페이지에 접속합니다. 그 후 BeautifulSoup을 사용해서 웹페이지의 내용을 쉽게 분석하고 원하는 정보를 추출해 냅니다. 정보란 위에 언급한 데로 오늘의 날짜를 가져온답니다. 만일 여러분이 이 코드를 사용하려면, 와 부분을 자신의 다음 아이디와 비밀번호로 바꾸어주셔야 합니다. import requests from bs4 import BeautifulSoup #세션 만들기 ..

이번 포스팅에선 GET 요청(request)에 대해 알아보겠습니다. 앞서 몇 번 언급을 하였지만, 저희가 웹에 요청을 할 때(주소창에 들어갈 때) 클릭을 하면 페이지를 이동하게 됩니다. 이것이 곧 요청(GET) 입니다. 요청을 할 때는 크게? [키]=[값] 형식으로 합니다. 구분은 &기호로 함 ? where=nexearch &sm=top_hty &fbm=1 &ie=utf8 &query=초콜릿 방식 : GET, POST, PUT, DELETE 대상 : https://search.naver.com/⇒ 호스트 이름 추가적인 정보 : - 경로 : /search.naver - 데이터 :? cid=318190 import urllib.request import urllib.parse api = 'https://se..