Allen's 데이터 맛집

데이터를 수집할 때 많이 쓰이는 라이브러리 Requests에 대해서 알아보겠습니다🎈 Requets 모듈은 웹페이지에서 HTTP 요청을 보내 원하는 HTML 정보를 가져오는 라이브러리입니다. Requests 모듈을 사용하기 위해서는 먼저 웹페이지에서 요청하는 방식인 POST와 GET 방식을 알아야 할 필요가 있습니다. 그 이유는 어떤 방식이냐에 따라 parameter(매개변수)를 전달하는 방법이 다르기 때문입니다. POST인지 GET 방식인지 확인하는 방법은 크롬기준으로 개발자 도구(Ctrl + shift + i) -> Network 목록에 들어가면 수많은 소스가 나오는데 아무 페이지나 이동후 소스파일을 확인해 보면 Request Method : 에서 어떤 방식인지 확인할 수 있습니다. Get 방식 GET..

웹이란? 웹은 크게 HTML, CSS, JS(java script)로 구성되어 있습니다 웹을 실제 집으로 예를 들어보자면 제일 중요한 집의 뼈대 역할을 하는 것은 바로 HTML (Hyper Text Markup Language)입니다 그리고 집을 이쁘게 만들기 위해서 인테리어 역할을 하는 것은 CSS 마지막으로 집에서 살아있는 사람의 역할을 하는 것이 바로 JS입니다 웹에 대해서 간단하게 알아보았다면, 이번엔 가볍게 구현을 해보겠습니다 😎 저는 Visual studio code를 사용하였습니다. 1. 먼저 VS code에서 'open in browser'을 install 해줍니다. 2. 설치 후 open in default browser (alt + b)를 누르면 각자 컴퓨터에서 기본으로 설정되어 있는 ..

데이터 분석을 하기 위해 데이터 수집에 대해서 공부를 시작할 때 보았던 것이 웹 스크래핑, 그리고 웹 크롤링 입니다. 데이터 분석을 하기 위해선 데이터가 있어야 하는데, csv파일처럼 제공되는 게 아닌, 웹에 있는 데이터를 저희가 가져오려 할 때 이 기술이 필요합니다 웹 스크래핑 (web scraping) 웹 사이트 상에서 원하고 필요한 부분에 위치한 정보를 컴퓨터로 하여금 자동으로 추출하여 수집하는 기술입니다 웹 스크랩 (웹 수집이라고도 함)은 웹 사이트에서 데이터를 추출하는 프로세스입니다. 웹 스크래핑의 목적은 웹에서 공개되어 있는 데이터를 자동으로 수집하여 데이터를 추출하고 저장한 후 여러 가지 용도로 사용하기 위함입니다. 웹 크롤링 자동화 봇인 웹 크롤러가 정해진 규칙에 따라 복수 개의 웹 페이즈..

저는Jupyter Notebook을 데이터 분석을 합니다. csv 파일을 불러올 때 경로가 어떻게 되어있는지 몰랐는데요, 간단한 os모듈을 가지고 확인이 가능합니다. 현재 경로 확인 import os print(os.getcwd()) # 실행결과 # C:\Users\Vector\ os모듈의 getcwd()함수를 사용하면 현재 지정되어 있는 경로를 확인할 수 있습니다. 경로 변경 import os os.chdir("../") print(os.getcwd()) # 실행결과 # C:\Users\ ../ 의 개수마다 현재 경로에서 한 단계식 내려갑니다.