[ELK] elastic search/kibana/logstash 개념

- ELK란?

ElasticSearch / Logstash / Kibana

정형, 비정형 데이터에서 실시간으로 실행 가능한 End to End stack

데이터 검색, 분석시 유용하다. 

Logstash(데이터 수집)
- 데이터를 수집하여 변환한 후, Elasticsearch 같은 stash로 전송하는 데이터 처리 파이프 라인

 

Elasticsearch(데이터 검색)
- 검색 및 분석 엔진

- JSON 기반의 분산형 RESTful 검색 엔진

 

Kibana(시각화)
- Elasticsearch에서 차트와 그래프를 이용해 데이터 시각화 가능하게 해주는 도구

 

---

- 사용 이유

로그의 중요성 

데이터의 처리를 DB를 통해서 알 수도 있지만, 더 명확한 분석을 위해서는 로그분석이 필수적이다. 

대규모 서비스의 경우 하루에 쌓이는 로그의 양도 많다. 서버도 각각 나뉘어 있으면 이 로그를 하나하나 열어봐야 하는 상황이 올 수 있다. 이 경우, 로그를 한 곳으로 집중시키고 분석하여 원하는 데이터를 도출해 낼 수 있는 로그 관리 솔루션이 ELK Stack이다. 

 

---

- ELK Stack이란? 

ELK 솔루션에서 Beats가 추가되면서 ELK Stack이라고 부른다. 

 

- Beats란?

서버에 에이전트로 설치

다양한 유형의 데이터를 Elastic Search 또는 Logstash에 전송