Logstash 란?

Logstash란

로그 스테이시는 실시간 파이프라인 기능을 가진 데이터 수집 엔진 오픈소스이다. 로그 스테이시는 서로 다른 소스의 데이터를 동적으로 통합하고 원하는 대상으로 데이터를 정규화 할 수 있는 능력을 가진다.

 

로그스테이시는 원래 로그 수집의 혁신을 주도했지만, 그 가능성은 실제 사용 사례를 통해 훨씬 더 열렸다.

 

다양한 입력과 필터 및 출력 플러그인을 통해, 모든 유형의 이벤트를 보강하고 변환할 수 있으며, 많은 기본 코텍이 처리 과정을 단순화한다. 따라서 로그 스테이시는 더 많은 양과 다양한 데이터를 활용하여 통찰력 있게 보는 것을 가능하게 해 준다.

 

💡Logstash 공식 문서 : www.elastic.co/guide/en/logstash/7.6/introduction.html

Logstash Introduction | Logstash Reference [7.6] | Elastic

 

Logstash 가 사랑받는 이유는 다음과 같은 막강한 기능들이 있기 때문이다.

• 강력한 엘라스틱과 키바나와의 시너지와 함께 수평적으로 데이터 프로세스 파이프라인이 스케일업 할 수 있다.
• 다른 인풋, 필터 그리고 아웃풋 플러그인들을 Mix, Match 할 수 있다.
• 200개가 넘는 플러그인이 사용 가능하며, 게다가 새로 생성하고 기여할 수 있다.

 

그럼 사용하는곳은 어디인지 알아보면

• 이벤트 저장
• Apache 웹 로그를 입력으로 사용
• 로그를 파싱
• 파싱된 데이터를 Elasticsearch 클러스터에 쓰는 고급 파이프라인 생성
• 여러 입출력 플러그인을 연결하여 서로 다른 다양한 소스의 데이터를 통합

등에 사용이 된다.

 

이전 포스팅에서 작성한 elasticsearch와 결합해서 많이 사용을 하는데 해당 포스팅은 아래 참고 포스팅을 확인해보도록 하자.

 

함께 사용하는 그림은 아래 사진을 보면 이해에 도움이 될것이다.

 

---

참고 포스팅

https://thenicesj.tistory.com/335

ElasticSearch 란?