목록R/2. 데이터 구축 (2)

study blog

selenium을 이용한 동적 page 데이터 추출

1. KAKAO-API (이미지검색) - KAKAO API (이미지검색)을 이용해서 이미지를 찾고 파일로 저장 - 사용하는 package는 network 연결을 통해서 서버에 접속해서 결과를 받아올 때 일반적으로 많이 사용하는 package를 이용 - jsonlite(), httr() 패키지 # .libPaths() # .libPaths("C:/R_lecture/lib") install.packages("jsonlite"); library(jsonlite) install.packages("httr"); library(httr) library(stringr) 1) 카카오 사이트에 접속 - Open API의 주소 복사해오기 url
R/2. 데이터 구축 2020. 1. 14. 00:54
Crawling & Scraping을 이용한 데이터 구축 - 네이버 영화 댓글, rotten tomatoes

Crawling & Scraping을 이용한 데이터 구축 - 특정 사이트에 접속해서 원하는 데이터 추출하기 데이터 수집 방식: 클라이언트가 request를 보냄 → 요청을 서버프로그램이 받음 → 서버프로그램이 결과 html 페이지를 생성해서 client에게 response로 전달 → 클라이언트는 selector와 xpath를 이용해서 전달된 HTML 내에 있는 필요한 데이터를 추출 용어에 대해 알아보자! - web crawling : 인터넷 상에서 필요한 정보를 읽어와서 수집하는 일련의 작업(과정) - web scraping : 하나의 web page에서 내가 원하는 부분을 추출하는 행위 - web crawling(web spidering) : 자동화 봇인 crawler가 정해진 규칙에 따라 복수개의 w..
R/2. 데이터 구축 2020. 1. 10. 16:54
Prev 1 Next