Logstash - 멀티 파이프라인 설정 (여러 테이블 데이터 수집)

이전 글에서 Logstash 설치와 실행을 해봤다.

이번 글에서는 멀티 파이프라인 설정을 해서 여러 테이블에서 Logstash를 통해 데이터를 수집해보자.

 

---

1. 멀티 파이프라인 설정 (vi /etc/logstash/pipelines.yml)

 

아래 그림과 같이 pipelines.yml 에서 설정을 변경할 예정이다.

logstash 디렉터리

$ vi /etc/logstash/pipelines.yml

 

안에 내용을 보면 pipeline 아이디가 지정되어있고, config 파일을 읽을 경로가 설정되어있다.

이전 글에서 conf.d 디렉터리내에 .conf 파일을 넣어서 logstash를 실행시켰는데, pipelines.yml 파일에 설정이 되어있어 전송이 잘 된거다.

 

* 아래 사진과 같이 *.conf로 설정되어 있으면 여러개 conf파일들을 읽을 수 있지만, 한개의 파이프라인으로 설정되어있어 데이터가 유실된다.

pipelines.yml

 

pipelines.yml 내용을 바꿔준다.

- pipeline.id: logstash-job-1
  path.config: "/etc/logstash/conf.d/logstash-test.conf"
  pipeline.workers: 1

- pipeline.id: logstash-job-2
  path.config: "/etc/logstash/conf.d/logstash-mysql.conf"
  pipeline.workers: 2

 

 

---

2. logstash 실행 

 

위 설정이 완료되면 엘라스틱서치 내에 인덱스가 2개 생성되는지 확인해보자.

엘라스틱서치 인덱스 목록

 

- 엘라스틱 서치 인덱스 2개 생성 확인

엘라스틱서치 인덱스 추가 목록

 

- 로그 확인 결과

logstash 로그