로그 중앙 집중 처리, APM, Full Text Query 도입 관련 자료조사.

참고용 ELK 스택 전체 아키텍처

노드 종류 및 사전 설명

Master Node

• 클러스터의 다른 노드들의 연결 상태 등을 추적 및 관리를 수행하며, 샤드를 어떤 노드에 배정할 지 등을 담당

  • 마스터 노드가 인덱스 생성, 삭제 등도 수행할 수 있으나, 별도의 coordinating nodes 를 두는 것을 권장

• 기본적으로 모든 노드들은 master-eligible 이 true 이며, master election process 를 거쳐 마스터 노드로 선출됨

  • 클러스터 규모가 크고, CPU, Memory, I/O 부하가 큰 경우 반드시 전용 마스터 노드와 전용 데이터 노드로 분리

• Split brain 현상을 방지하려면 discovery.zen.minimum_master_nodes 값을 (master_eligible_nodes / 2) + 1 로 선정해야 함

  • 일반적으로 3개의 마스터 노드를 두고, 위 값을 2로 설정함
  • 설정

  PUT _cluster/settings {"transient": {"discovery.zen.minimum_master_nodes": 2}}

• 마스터 노드는 데이터 노드와 동일하게 반드시 data/ 디렉토리에 대한 접근 권한이 있어야 함

• 2 ~ 4 core 정도면 충분 (출처)

• 전용 마스터 노드 설정

  node.master: true node.data: false node.ingest: false cluster.remote.connect: false

Data Node

• 인덱싱 완료된 문서들을 저장하는 노드

• CRUD, aggregation 등을 주로 수행하며, I/O, Memory, CPU 집약적이기 때문에 충분한 자원이 제공되야 함

• 전용 데이터 노드 설정

  node.master: false node.data: true node.ingest: false cluster.remote.connect: false

Ingest Node

• 하나 이상의 ingest processor 로 구성되어 인덱싱 되기 전 처리를 (pre-processing) 수행하는 전용 노드 (Optional)

• 전용 Ingest 노드 설정

  node.master: false node.data: false node.ingest: true cluster.remote.connect: false