study blog

Crawling & Scraping을 이용한 데이터 구축 - 특정 사이트에 접속해서 원하는 데이터 추출하기 데이터 수집 방식: 클라이언트가 request를 보냄 → 요청을 서버프로그램이 받음 → 서버프로그램이 결과 html 페이지를 생성해서 client에게 response로 전달 → 클라이언트는 selector와 xpath를 이용해서 전달된 HTML 내에 있는 필요한 데이터를 추출 용어에 대해 알아보자! - web crawling : 인터넷 상에서 필요한 정보를 읽어와서 수집하는 일련의 작업(과정) - web scraping : 하나의 web page에서 내가 원하는 부분을 추출하는 행위 - web crawling(web spidering) : 자동화 봇인 crawler가 정해진 규칙에 따라 복수개의 w..