목록전체 글 (34)

study blog

selenium을 이용한 동적 page 데이터 추출

1. KAKAO-API (이미지검색) - KAKAO API (이미지검색)을 이용해서 이미지를 찾고 파일로 저장 - 사용하는 package는 network 연결을 통해서 서버에 접속해서 결과를 받아올 때 일반적으로 많이 사용하는 package를 이용 - jsonlite(), httr() 패키지 # .libPaths() # .libPaths("C:/R_lecture/lib") install.packages("jsonlite"); library(jsonlite) install.packages("httr"); library(httr) library(stringr) 1) 카카오 사이트에 접속 - Open API의 주소 복사해오기 url
R/2. 데이터 구축 2020. 1. 14. 00:54
R에서 JSON 데이터 처리(jsonlite, httr 패키지)

JSON 데이터 받아서 data frame 생성하기 - Network을 통해서 JSON 데이터를 받아서 Data Frame으로 만들기 위해 새로운 package를 이용 1) 도서검색 데이터 불러와서 저장하기 1-1) package 설치 install.packages("jsonlite") #json처리하는데 많이 사용하는 패키지 install.packages("httr") #network 사용하는데 필요한 패키지들 1-2) package를 사용하기 위해 loading작업 필요 library(jsonlite); library(httr) 1-3) 문자열 처리하기 위한 package library(stringr) 1-4) 주소 완성하기 (request_url) url
R/3. 데이터 조작 2020. 1. 12. 17:48
Crawling & Scraping을 이용한 데이터 구축 - 네이버 영화 댓글, rotten tomatoes

Crawling & Scraping을 이용한 데이터 구축 - 특정 사이트에 접속해서 원하는 데이터 추출하기 데이터 수집 방식: 클라이언트가 request를 보냄 → 요청을 서버프로그램이 받음 → 서버프로그램이 결과 html 페이지를 생성해서 client에게 response로 전달 → 클라이언트는 selector와 xpath를 이용해서 전달된 HTML 내에 있는 필요한 데이터를 추출 용어에 대해 알아보자! - web crawling : 인터넷 상에서 필요한 정보를 읽어와서 수집하는 일련의 작업(과정) - web scraping : 하나의 web page에서 내가 원하는 부분을 추출하는 행위 - web crawling(web spidering) : 자동화 봇인 crawler가 정해진 규칙에 따라 복수개의 w..
R/2. 데이터 구축 2020. 1. 10. 16:54
제어문 - 조건문(if, ifelse) & 반복문(for, while) / 사용자 정의 함수

1. 제어문 1-1. 조건문(if, ifelse) ① if구문 var1 = 100 var2 = 20 # 조건에 따라서 실행되는 code block을 제어할 수 있음 if(var1>var2){ cat("참") } else if(var1==var2){ cat(" ") } else { cat("거짓") } ② ifelse: JAVA의 3항 연산자 ifelse(var1>var2,"참","거짓") 1-2. 반복문(for, while) ① for: 반복 횟수만큼 반복 실행 – 정해진 수 for(var1 in 1:5){ print(var1) } ② while: 조건이 참일 동안 반복 실행 -조건 주어질 때 idx = 1; mySum = 0 while (idx
R/1. R 기초 2020. 1. 10. 08:54
데이터 입출력 - txt, csv, xml, json, excel

# 키보드로 데이터 받기 ① scan() : 숫자 데이터를 받을 수 있음 (실수) myNum
R/1. R 기초 2020. 1. 9. 16:31
String - stringr 패키지를 이용한 문자열 처리

문자열 처리 (string) # stringr 이라는 package를 이용하면 문자열 처리 쉽고 편하게 할 수 있음 # stringr 설치하기 install.packages("stringr") library(stringr) # stringr 패키지를 이용한 문자열 처리 var1 = "Honggd1234Leess9032YOU25최길동2009" ① str_length(): 문자열의 길이 구하기 str_length(var1) # 출력결과: 31 ② str_locate(): 찾는 문자열의 시작과 끝을 알려줌 str_locate(var1,"9032") # start:16 end:19 str_locate(var1,c("9032","Y")) ③ str_sub(): 부분문자열 (문자를 끊어와줌) str_sub(var1..
R/1. R 기초 2020. 1. 8. 20:26
Data Structure 2 - list, data frame, factor

Data Structure 변수에 저장된 데이터의 메모리 구조 cf. Data type: 저장된 데이터의 성격 (numeric, character, logical, complex 등) Data Structure은 6개의 타입으로 나눌 수 있다. 1. 같은 데이터 타입 (3가지) 1) Vector (1차원) 2) Matrix (2차원) 3) Array (3차원 이상) 2. 다른 데이터 타입 (2가지) 1) List (1차원) 2) Data Frame (2차원) 3. factor형 1. List (1차원) 중첩 자료구조로 이용 (vector, array 등을 각각의 요소 안에 저장할 수 있음) key와 value로 저장되는 자료구조 var_scalar = 100 # scalar var_vector = c(1..
R/1. R 기초 2020. 1. 8. 20:26
Data Structure 1 - vector, matrix, array

Data Structure 변수에 저장된 데이터의 메모리 구조 cf. Data type: 저장된 데이터의 성격 (numeric, character, logical, complex 등) Data Structure은 6개의 타입으로 나눌 수 있다. 1. 같은 데이터 타입 (3가지) 1) Vector (1차원) 2) Matrix (2차원) 3) Array (3차원 이상) 2. 다른 데이터 타입 (2가지) 1) List (1차원) 2) Data Frame (2차원) 3. factor형 1. Vector (1차원) 같은 데이터 타입으로 구성 첨자 형태로 access 가능 (첨자의 시작은 1이라는 것에 주의!) my_vector[1] # vector 생성 함수 ① c( ) combine의 약자 일반적으로 규칙성이 ..
R/1. R 기초 2020. 1. 7. 15:32
Prev 1 2 3 4 5 Next