hanker

이전 글에서 Logstash 설치와 실행을 해봤다.이번 글에서는 멀티 파이프라인 설정을 해서 여러 테이블에서 Logstash를 통해 데이터를 수집해보자. 1. 멀티 파이프라인 설정 (vi /etc/logstash/pipelines.yml) 아래 그림과 같이 pipelines.yml 에서 설정을 변경할 예정이다.$ vi /etc/logstash/pipelines.yml 안에 내용을 보면 pipeline 아이디가 지정되어있고, config 파일을 읽을 경로가 설정되어있다.이전 글에서 conf.d 디렉터리내에 .conf 파일을 넣어서 logstash를 실행시켰는데, pipelines.yml 파일에 설정이 되어있어 전송이 잘 된거다. * 아래 사진과 같이 *.conf로 설정되어 있으면 여러개 conf파일들을 읽..

기존에 사용하고 있는 RDBMS 데이터를 ElasticSearch에 넘기기 위해 Logstash를 설치해 보자.Logstash는 형식이나 복잡성과 관계없이 데이터를 동적으로 수집, 전환, 전송한다고 한다.1. 설치$ yum install logstash 설치 확인 (systemctl status logstash)  2. 파이프라인 설정 yum install을 통해 설치를 하면, /etc 내부에 logstash 디렉터리가 생성된다.   2-1. ./conf.d 내부에 파이프라인 설정파일 추가 (최초에는 비어있음)  2-2. logstash 실행 (인덱스 생성확인)./conf.d 디렉토리에 파이프라인 설정파일을 추가했으면 이제 실행시켜 보자.2개의 파이프라인 설정파일을 추가했고, 인덱스가 2개 생성되면 성공..

엘라스틱서치 버전을 확인하는 방법을 알아보자.  방법 1 : curl 명령어# curl 엘라스틱서치설치IP:9200$ curl localhost:9200  방법 2 : elasticsearch* 실행 이용 # 엘라스틱서치설치경로/bin -version$ /usr/share/elasticsearch/bin/elasticsearch -version  방법 3 : kibana 관리페이지에서 확인하기 Kibana 좌측 상단에 햄버거 버튼을 클릭해서 스크롤을 내리면 Stack Management 메뉴 클릭 시 버전 정보 확인이 가능하다.

Failed to execute action {:action=>LogStash::PipelineAction::Create/pipeline_id:main, :exception=>"LogStash::ConfigurationError", :message=>"Expected one of [ \\t\\r\\n], \"#\", \"input\", \"filter\", \"output\" at line 1, column 1 (byte 1)", Logstash를 이용하여 MariaDB to ElasticSearch를 동기화하던 중 오류가 발생했다. 오류 로그를 읽어보면 첫 줄부터 오류가 발생했다고 한다.첫 시작은 input, filter, output 중 하나여야 하는데, 아니여서 오류가 발생했다.원인설명첫 줄에 in..

rmdir는 비어 있는 디렉토리만 삭제하는 명령어이다.즉, 해당 디렉토리에 파일이나 하위 디렉토리가 있으면 삭제되지 않는다. 1. rmdir 명령어 사용법$ rmdir testDir - testDir 디렉토리가 비어 있다면 삭제된다.- 폴더 안에 파일이 있으면 삭제 실패  2. 디렉토리 안에 파일이 있을 경우 $ mkdir testDir && touch ./testDir/tmp.txt$ rmdir testDir rmdir: failed to remove `testDir': 디렉터리가 비어있지 않음 (실패)  3. 하위 디렉토리 순차적으로 삭제 (--parents 옵션) $ rmdir --parents testDir/a/b* -parents OR -p 옵션을 사용하면 됌 rmdir vs rm -r 차이항목..

touch 명령어는 파일 생성 및 수정 시간을 변경하는 명령어이다.주로 빈 파일을 생성하거나, 기존 파일의 최종 수정 시간을 변경할 때 사용된다. 1. touch 명령어 사용법 $ touch test.txt- test.txt라는 파일을 생- 파일이 이미 존재하면 파일의 수정 시간을 변경- 파일이 존재하지 않으면, 빈 파일을 생성 2. touch 옵션 정리옵션설명-c파일이 존재하지 않으면 새로 만들지 않고 아무 작업도 하지 않음-m최종 수정 시간만 변경 (생성 시간은 변경하지 않음)-a마지막 접근 시간만 변경-t [YYYYMMDDhhmm]지정한 날짜와 시간으로 타임스탬프 변경-r [기준파일]기준 파일의 타임스탬프를 복사  2-1. 파일이 존재하지 않을 경우 파일 생성$ touch test2.txt- tes..

Kibana는 Elasticsearch의 시각화 도구이다.이전 글에서 ElasticSearch 설치를 했었는데, 이어서 모니터링할 수 있는 Kibana 설치 후 실행까지 해보자. 1. Kibana 설치 1-1. Kibana 설치$ yum install -y kibana  1-2. Kibana 설정 변경$ vi /etc/kibana/kibana.ymlserver.host: "0.0.0.0"elasticsearch.hosts: ["http://localhost:9200"]  1-3. Kibana 실행$ systemctl start kibana$ systemctl enable kibana  1-4. 웹브라우저 kibana 접속> http://서버_IP:5601

CentOS7에서 ElasticSearch 7.x 설치방법을 알아보자.  1. Java Version 확인 https://www.elastic.co/support/matrix#matrix_jvm Support MatrixThe tables below display platform and software configurations that are eligible for support under our subscription offerings. Learn more about our Support Policy and product End of Life poli...www.elastic.coElasticSearch 를 설치하기 위해 필요한 Java Version을 정리해놓은 사이트이다.우리는 7.x 버전을 설치..

pwd (print working directory) 현재 작업 중인 디렉토리(경로)를 출력해주는 명령어이다. 1. 사용방법 $ pwd- 현재 터미널에서 작업 중인 디렉토리(현재 위치한 경로)를 출력한다.- pwd를 실행하면 절대경로를 반환한다. 2. pwd 옵션 옵션설명-L(default) 심볼릭 링크 경로를 그대로 출력-P실제 물리적 경로(심볼릭 링크 해제된 절대 경로)를 출력 2-1. -L 옵션 (Logical Path)해당 옵션은 default 로 실행된다.   2-2. -P 옵션 (Physical Path)심볼릭 링크를 해제하고 원래 실제 디렉토리를 출력한다.

대부분의 경우 / 를 사용하면 null과 빈 문자열("")을 모두 처리할 수 있어서 편리하지만,무조건 isEmpty만 사용하는 것이 항상 최선은 아니다.  || 1-1. 빈 문자열("")은 허용하고 null만 체크하고 싶을 때- 는 null과 "" 모두 체크하므로, 값이 빈 문자열일 때도 조건이 실행됨- 만약 빈 문자열("")은 허용하고 null만 체크하고 싶다면 을 사용해야 함 name IS NULL 1-2. 입력값이 공백(" ")이 포함될 가능성이 있을 때- 는 " "(공백이 있는 문자열)을 비어 있는 값으로 판단하지 않음.- 예를 들어, 사용자가 " "(스페이스 한 칸)만 입력한 경우, 는 이를 "값이 있는 것"으로 간주하고 조건이 실행됨.  > 해당 경우에 Java에서 공백을 trim()..