study blog

자연어 처리 KoNLP 패키지를 이용하자. ( Korean Natural Language Process ) - 해당 패키지 안에 사전이 포함되어 있음 - 3가지의 사전이 포함 : 시스템 사전(28만개), 세종 사전(32만개), NIADic 사전(98만개) # Java 기능을 이용함! 시스템에 JRE가 설치되어 있어야 함. - JRE를 설치하긴 했는데 R package가 JRE를 찾아서 써야 하기 때문에, 환경변수 JAVA_HOME 환경변수를 설정해야 함. - 환경변수 아래쪽에 새로 만들기-> 변수 이름: JAVA_HOME, 경로: C:\Program Files\Java\jre1.8.0_231 - 환경변수 설정 하고나서 rstudio 재시작하기 (+) 참고로 영문 NLP의 경우에는 openNLP, Snow..

reshape2 패키지로 데이터 형태 변환 - 데이터의 형태를 바꿀 수 있음 -> 가로로 되어있는 데이터를 세로로 바꿀 수 있어요! - 컬럼으로 저장되어 있는 데이터를 row 형태로 / row 형태의 데이터를 column형태로 전환 실습을 통해 이해해보자! (melt_mpg.csv, sample_mpg.csv) library(ggplot2) library(stringr) library(dplyr) sample_mpg % summarise(avg_rate=mean(value)) #18.25 [연습문제] 두 개의 data frame에 대해서 평균 연비를 구해서 표시 (평균연비=도시연비,고속도로연비 평균) # sample_mpg의 평균 연비 구하기 sample_mpg %>% mutate(avg_rate=(ct..

데이터 분석업무에서 raw data를 얻은 다음 머신러닝 모델링을 위해서 또는 시각화를 위해서 raw data를 적절한 형태로 변형 → 데이터 변환, 필터링, 전처리 작업이 필요! → 데이터 조작에 특화된 package들이 존재! - plyr : pliers(집게)+R (플라이어, 플라이 알이라고 부름) - dplyr : data frame + pliers + R (디플라이알) - vector나 data frame에 적용할 수 있는 기본 함수 1. R 내장 함수로 데이터 조작하기 # iris 데이터를 이용하여 데이터를 조작해보자. - iris: 붓꽃의 종류와 크기에 대해 측정한 데이터 - 통계학자 피셔가 측정해서 제공 ① ls(): data frame의 column명을 vector로 추출, 오름차순으로 ..

1. KAKAO-API (이미지검색) - KAKAO API (이미지검색)을 이용해서 이미지를 찾고 파일로 저장 - 사용하는 package는 network 연결을 통해서 서버에 접속해서 결과를 받아올 때 일반적으로 많이 사용하는 package를 이용 - jsonlite(), httr() 패키지 # .libPaths() # .libPaths("C:/R_lecture/lib") install.packages("jsonlite"); library(jsonlite) install.packages("httr"); library(httr) library(stringr) 1) 카카오 사이트에 접속 - Open API의 주소 복사해오기 url

JSON 데이터 받아서 data frame 생성하기 - Network을 통해서 JSON 데이터를 받아서 Data Frame으로 만들기 위해 새로운 package를 이용 1) 도서검색 데이터 불러와서 저장하기 1-1) package 설치 install.packages("jsonlite") #json처리하는데 많이 사용하는 패키지 install.packages("httr") #network 사용하는데 필요한 패키지들 1-2) package를 사용하기 위해 loading작업 필요 library(jsonlite); library(httr) 1-3) 문자열 처리하기 위한 package library(stringr) 1-4) 주소 완성하기 (request_url) url

Crawling & Scraping을 이용한 데이터 구축 - 특정 사이트에 접속해서 원하는 데이터 추출하기 데이터 수집 방식: 클라이언트가 request를 보냄 → 요청을 서버프로그램이 받음 → 서버프로그램이 결과 html 페이지를 생성해서 client에게 response로 전달 → 클라이언트는 selector와 xpath를 이용해서 전달된 HTML 내에 있는 필요한 데이터를 추출 용어에 대해 알아보자! - web crawling : 인터넷 상에서 필요한 정보를 읽어와서 수집하는 일련의 작업(과정) - web scraping : 하나의 web page에서 내가 원하는 부분을 추출하는 행위 - web crawling(web spidering) : 자동화 봇인 crawler가 정해진 규칙에 따라 복수개의 w..

1. 제어문 1-1. 조건문(if, ifelse) ① if구문 var1 = 100 var2 = 20 # 조건에 따라서 실행되는 code block을 제어할 수 있음 if(var1>var2){ cat("참") } else if(var1==var2){ cat(" ") } else { cat("거짓") } ② ifelse: JAVA의 3항 연산자 ifelse(var1>var2,"참","거짓") 1-2. 반복문(for, while) ① for: 반복 횟수만큼 반복 실행 – 정해진 수 for(var1 in 1:5){ print(var1) } ② while: 조건이 참일 동안 반복 실행 -조건 주어질 때 idx = 1; mySum = 0 while (idx

# 키보드로 데이터 받기 ① scan() : 숫자 데이터를 받을 수 있음 (실수) myNum