엘라스틱 스택(Elastic Stack)에서 데이터 수집을 담당하는 여러가지 비트(Beats) 소개

 예전에 엘라스틱서치(Elasticsearch)와 키바나(Kibana)의 설치 및 사용법에 대해 다루었습니다. 오늘은 시스템과 서비스에서 로그와 메트릭과 같은 데이터를 수집해 엘라스틱서치(ES)로 보내는 비츠(Beats) {메트릭비트, 파일비트, 패킷비트} 를 소개하겠습니다.

ELK 나 ELK Stack이라고 알려진 제품들이 Elasticsearch, Logstash, Kibana입니다. 가끔 ELKK라고 해서 여기다 Kafka를 포함시키기도 합니다. 지금은 ELK 스택이라고 부르기보다 엘라스틱 스택(Elastic Stack)으로 부르고 있습니다. ELK 스택이 진화해서 Elastic 스택이 된거라고 보시면 됩니다. 엘라스틱 스택에서 데이터 수집을 담당하는 제품이 비츠(Beats)입니다. (여러 종류의 비트들을 모아 복수로 비츠(Beats)라고 부르고 있습니다.)

출처 : elastic.co 공식 페이지

출처 : elastic.co 공식 페이지

• 쉽게 그림으로 표현하면 비트(beat)로 데이터를 수집해 엘라스틱 서치에 저장한 후 키바나로 시각화 할 수 있습니다. 엘라스틱 스택 제품만을 사용해 모니터링 파이프라인과 같은 것을 구축할 수 있습니다. 

출처 : 이건 내가 만듬. 훗!

• 가끔 아래와 같이 엘라스틱서치로 보내기 전에 로그스태쉬(Logstash)로 보내서 데이터를 필터/가공 할 수도 있습니다. Logstash는 쉽게 말해 ETL 툴이라고 보시면 됩니다.

• Beats 의 역할을 알았으니 그 종류에 대해 알아봅시다. 현재 7의 Beats 제품들이 있고 앞으로 계속 늘어날 것입니다. 이 중에서 Filebeat, Metricbeat, Packetbeat을 간단히 소개합니다. 

출처 : elastic.co 공식 페이지

• Metricbeat(메트릭비트)는 시스템의 CPU와 메모리 사용률, 디스크 IO, 네트워크 IO 등의 정보를 수집해 전송하는 제품입니다. ES에 전송되면 키바나를 통해 아래와 같이 시각화해서 모니터링할 수 있습니다. 

출처 : elastic.co 공식 페이지

• Filebeat(파일비트)는 로그와 파일을 엘라스틱서치나 로그스태쉬로 보냅니다. 로그를 라인 단위로 읽는데 만약 문제가 생기면 마지막 읽었던 위치에서 다시 읽고 전송하게 됩니다. ES나 Logstash가 전송하는 데이터를 잘 처리 못하면 파일비트는 속도를 자동으로 낮추게 되고 정체가 풀리면 원래 속도고 ㄱㄱ합니다. 파일비트로 수집한 데이터를 아래와 같이 시각화 할 수 있습니다. 

출처 : elastic.co 공식 페이지

• Packetbeat(패킷비트)는 네트워크 트래픽을 모니터링하는 패킷 분석기 제품입니다. 네트워크에 장애가 생겨도 네트워크 데이터를 디스크 스풀링해서 보관했다 다시 전송합니다. 패킷비트로 수집한 데이터를 키바나에서 아래와 같이 시각화해서 모니터링 할 수 있습니다.  

출처 : elastic.co 공식 페이지

* 엘라스틱의 SIEM (보안 정보 및 이벤트 관리, Security information and event management) 제품도 비트(Beats)를 사용해 정보를 수집합니다. 

- END -