hanker

이전 글에서 Logstash 설치와 실행을 해봤다.이번 글에서는 멀티 파이프라인 설정을 해서 여러 테이블에서 Logstash를 통해 데이터를 수집해보자. 1. 멀티 파이프라인 설정 (vi /etc/logstash/pipelines.yml) 아래 그림과 같이 pipelines.yml 에서 설정을 변경할 예정이다.$ vi /etc/logstash/pipelines.yml 안에 내용을 보면 pipeline 아이디가 지정되어있고, config 파일을 읽을 경로가 설정되어있다.이전 글에서 conf.d 디렉터리내에 .conf 파일을 넣어서 logstash를 실행시켰는데, pipelines.yml 파일에 설정이 되어있어 전송이 잘 된거다. * 아래 사진과 같이 *.conf로 설정되어 있으면 여러개 conf파일들을 읽..

기존에 사용하고 있는 RDBMS 데이터를 ElasticSearch에 넘기기 위해 Logstash를 설치해 보자.Logstash는 형식이나 복잡성과 관계없이 데이터를 동적으로 수집, 전환, 전송한다고 한다.1. 설치$ yum install logstash 설치 확인 (systemctl status logstash)  2. 파이프라인 설정 yum install을 통해 설치를 하면, /etc 내부에 logstash 디렉터리가 생성된다.   2-1. ./conf.d 내부에 파이프라인 설정파일 추가 (최초에는 비어있음)  2-2. logstash 실행 (인덱스 생성확인)./conf.d 디렉토리에 파이프라인 설정파일을 추가했으면 이제 실행시켜 보자.2개의 파이프라인 설정파일을 추가했고, 인덱스가 2개 생성되면 성공..

엘라스틱서치 버전을 확인하는 방법을 알아보자.  방법 1 : curl 명령어# curl 엘라스틱서치설치IP:9200$ curl localhost:9200  방법 2 : elasticsearch* 실행 이용 # 엘라스틱서치설치경로/bin -version$ /usr/share/elasticsearch/bin/elasticsearch -version  방법 3 : kibana 관리페이지에서 확인하기 Kibana 좌측 상단에 햄버거 버튼을 클릭해서 스크롤을 내리면 Stack Management 메뉴 클릭 시 버전 정보 확인이 가능하다.

Failed to execute action {:action=>LogStash::PipelineAction::Create/pipeline_id:main, :exception=>"LogStash::ConfigurationError", :message=>"Expected one of [ \\t\\r\\n], \"#\", \"input\", \"filter\", \"output\" at line 1, column 1 (byte 1)", Logstash를 이용하여 MariaDB to ElasticSearch를 동기화하던 중 오류가 발생했다. 오류 로그를 읽어보면 첫 줄부터 오류가 발생했다고 한다.첫 시작은 input, filter, output 중 하나여야 하는데, 아니여서 오류가 발생했다.원인설명첫 줄에 in..

Kibana는 Elasticsearch의 시각화 도구이다.이전 글에서 ElasticSearch 설치를 했었는데, 이어서 모니터링할 수 있는 Kibana 설치 후 실행까지 해보자. 1. Kibana 설치 1-1. Kibana 설치$ yum install -y kibana  1-2. Kibana 설정 변경$ vi /etc/kibana/kibana.ymlserver.host: "0.0.0.0"elasticsearch.hosts: ["http://localhost:9200"]  1-3. Kibana 실행$ systemctl start kibana$ systemctl enable kibana  1-4. 웹브라우저 kibana 접속> http://서버_IP:5601

CentOS7에서 ElasticSearch 7.x 설치방법을 알아보자.  1. Java Version 확인 https://www.elastic.co/support/matrix#matrix_jvm Support MatrixThe tables below display platform and software configurations that are eligible for support under our subscription offerings. Learn more about our Support Policy and product End of Life poli...www.elastic.coElasticSearch 를 설치하기 위해 필요한 Java Version을 정리해놓은 사이트이다.우리는 7.x 버전을 설치..

Tibero에서 시퀀스(Sequence)는 자동으로 증가하는 숫자를 생성하는 객체이다. 이번 글에서는 Sequence 생성 방법에 대해서 알아보자. 1.시퀀스 생성CREATE SEQUENCE 시퀀스_이름 START WITH 시작값 -- 시퀀스의 시작값 (기본값: 1) INCREMENT BY 증가값 -- 증가할 값 (기본값: 1) MINVALUE 최소값 -- 최소값 설정 (기본값: 1) MAXVALUE 최대값 -- 최대값 설정 (기본값: 999999999999999999999999999) CYCLE | NOCYCLE -- CYCLE: 최대값 도달 시 다시 최소값으로 순환 (기본값: NOCYCLE) C..

데이터베이스에서 데이터 백업과 복구는 데이터 손실을 방지하고 시스템 장애 시 신속하게 복구하기 위해 필수적인 작업이다. 이번 글에서는 각 데이터베이스 별 SQL 데이터 백업과 복구의 개념, 방법에 대해서 알아봅시다! 1. 데이터 백업을 왜 해야할까? 데이터 백업을 하는 이유는 데이터베이스의 데이터를 안전한 위치에 저장하여 데이터 손실에 대비하기 위함이다.즉, 시스템 장애나 하드웨어 오류, 사용자 실수, 사이버 공격에 대비한다.  2. 백업의 유형 2-1. 전체 백업- 데이터베이스 전체를 백업한다.- 장점 : 복구가 간단하며, 모든 데이터를 포함- 단점 : 시간이 오래 걸리고, 저장 공간을 많이 사용  2-2. 증분 백업- 마지막 전체 백업 이후 변경된 데이터만 백업한다.- 장점 : 속도가 빨고 저장 공간..

저장 프로시저(Stored Procedure)는 데이터베이스에 저장된 SQL 코드의 집합으로, 재사용 가능한 쿼리와 로직을 효율적으로 실행할 수 있도록 설계된 기능이다.저장 프로시저는 데이터베이스 성능을 최적화하고, 복잡한 비즈니스 로직을 관리하는데 유용하다.  이번 글에서는 저장 프로시저의 개념과 장점, 생성 방법, 그리고 실제로 활용하는 방법에 대해서 알아보자! 1. 저장 프로시저(Stored Procedure)란?  저장 프로시저는 이름이 지정된 SQL 코드의 블록으로, 데이터베이스에 저장되어 필요할 때 호출된다.- 저장 프로시저는 입력 파라미터를 받아서 실행할 수 있다.- 복잡한 작업을 캡슐화하여 코드 중복을 줄이고 유지보수를 간편하게 만든다. 이렇게만 보면 function과 비슷한 것 같지만, ..

SQL에서 트리거(Trigger)는 특정 이벤트(INSERT, UPDATE, DELETE)가 발생할 때 자동으로 실행되는 특별한 유형의 저장 프로시저이다.트리거는 데이터 무결성을 유지하고, 데이터베이스 작업을 자동화하는 데 유용하다. 이번 글에서는 트리거의 정의, 종류, 생성 방법, 그리고 실전 활용 방법을 알아보자! 1. 트리거(Trigger)란? 트리거는 테이블에 정의된 이벤트 처리 메커니즘이다. 특징으로는- 지정된 이벤트 발생 시 자동으로 실행된다.- 테이블 수준에서 동작하며, 특정 작업을 자동화한다.- 데이터 무결성 유지, 로깅, 또는 복잡한 비즈니스 로직 구현에 사용된다. 2. 트리거의 종류 트리거는 이벤트와 실행 시점에 따라 구분된다.종류설명BEFORE지정된 작업(INSERT, UPDATE, ..