Allen's 데이터 맛집

도커 환경에서 개발환경 설정 1. cmd에서 docker pull ubuntu:16.04 [우분투 파일 들고 오기] 2. docker run -it ubuntu:16.04 [우분투 실행] 3. apt-get update [우분투 업데이트 실시] 4. apt-get install -y python3 python3-pip [y 옵션으로 python3와 python3 pip 설치] 5. pip3 install selenium [셀리니움 설치] 6. pip3 install beautifulsoup4 [뷰티풀 습 다운] 팬텀JS 다운로드 1. apt-get install -y wget libfontconfig [펜텀 js 다운로드] 2. mkdir -p /home/root/src && cd$_ [해당 폴더를 생성..

오늘은 파이썬을 사용하여 웹페이지에서 정보를 가져오는 방법을 알려드릴게요. 세션메서드를 사용하여 다음 사이트에 로그인을 하여 해당 날짜를 확인하는 코드 먼저, requests와 BeautifulSoup이라는 도구를 사용해 웹페이지에 접속하고 정보를 가져옵니다. 세션을 만들어서 로그인을 하고, 로그인한 세션으로 원하는 정보가 있는 웹페이지에 접속합니다. 그 후 BeautifulSoup을 사용해서 웹페이지의 내용을 쉽게 분석하고 원하는 정보를 추출해 냅니다. 정보란 위에 언급한 데로 오늘의 날짜를 가져온답니다. 만일 여러분이 이 코드를 사용하려면, 와 부분을 자신의 다음 아이디와 비밀번호로 바꾸어주셔야 합니다. import requests from bs4 import BeautifulSoup #세션 만들기 ..

이번 포스팅에선 GET 요청(request)에 대해 알아보겠습니다. 앞서 몇 번 언급을 하였지만, 저희가 웹에 요청을 할 때(주소창에 들어갈 때) 클릭을 하면 페이지를 이동하게 됩니다. 이것이 곧 요청(GET) 입니다. 요청을 할 때는 크게? [키]=[값] 형식으로 합니다. 구분은 &기호로 함 ? where=nexearch &sm=top_hty &fbm=1 &ie=utf8 &query=초콜릿 방식 : GET, POST, PUT, DELETE 대상 : https://search.naver.com/⇒ 호스트 이름 추가적인 정보 : - 경로 : /search.naver - 데이터 :? cid=318190 import urllib.request import urllib.parse api = 'https://se..

도커 환경을 사용하여 데이터를 수집해 보겠습니다. 도커에서 아래의 명령어를 실행시키면, 도커에서 마운트 한 폴더를 파이썬 코드를 실행할 비주얼 스튜디오에서 폴더를 같게 합니다. docker run -i -t -v /c/Users/Vector/sample:/sample mlearn:init /bin/bash 예) C:\Users\Vector\sample 파일을 다운로드 하는 코드 import urllib.request url ='http://uta.pw/shodou/img/28/214.png' savename = 'test.png' # urlretrieve 는 파일을 다운받을 수 있음 urllib.request.urlretrieve(url, savename) #(어떤 url에 있는것을, 어디에 저장할것인가..