[Grafana] Centos - Grafana + Loki + Promtail 연동

2024. 6. 27. 22:27

728x90

grafana 설치 이후 loki 와 promtail 을 설치 하여 로그를 모니터링 하는 방법에 대해 알아 보겠습니다.

구성 설명

Promtail: 로그를 수집하고 필터링한 후 Loki로 전송하는 로그 수집기.
Loki: 로그 데이터를 저장하고 검색 쿼리를 처리하는 로그 데이터베이스.
Grafana: Loki로부터 데이터를 시각화하고 분석하는 대시보드 툴 입니다. .

설치

Loki 설치

loki 바이너리를 다운로드 받아 압축해제후 loki 설치 합니다.

#loki 다운로드 
mkdir loki 
cd loki 
wget https://github.com/grafana/loki/releases/download/v2.9.8/loki-linux-amd64.zip    
unzip loki-linux-amd64.zip


#loki 환경설정 파일 다운로드 
wget https://raw.githubusercontent.com/grafana/loki/main/cmd/loki/loki-local-config.yaml

loki-local-config.yaml 수정

auth_enabled: false

server:
  http_listen_port: 3100
  grpc_listen_port: 9096



ingester:
  lifecycler:
    address: 192.168.116.200
    ring:
      kvstore:
        store: inmemory
      replication_factor: 1
    final_sleep: 0s
  chunk_idle_period: 5m
  chunk_retain_period: 30s
  max_transfer_retries: 0

schema_config:
  configs:
    - from: 2018-04-15
      store: boltdb
      object_store: filesystem
      schema: v11
      index:
        prefix: index_
        period: 168h

storage_config:
  boltdb:
    directory: /data/loki/index

  filesystem:
    directory: /data/loki/chunks

limits_config:
  enforce_metric_name: false
  reject_old_samples: true
  reject_old_samples_max_age: 168h

chunk_store_config:
  max_look_back_period: 0s

table_manager:
  retention_deletes_enabled: false
  retention_period: 0s

loki 실행

nohup ./loki-linux-amd64 -config.file=loki-local-config.yaml   2>&1 &

실행 파일 생성 ( loki-startup.sh)

vi loki-startup.sh 
kill -9 $(lsof -t -i:3100) || true
nohup ./loki-linux-amd64 -config.file=loki-local-config.yaml 2>&1 &

Promtail 설치

Promtail 바이너리를 다운로드 받아 압축 해제후Promtail 설치 합니다.

mkdir promtail 
cd promtail 

wget https://github.com/grafana/loki/releases/download/v2.8.0/promtail-linux-amd64.zip

unzip promtail-linux-amd64.zip

nohup ./promtail-linux-amd64 -config.file=promtail-config.yaml 2>&1 &

promtail-local-config.yaml 설정 변경 : 수집할 로그와 위치를 변경 합니다.
scrape_configs 는 수집할 로그입니다.
여러개의 job 을 등록 해서 사용할수 있습니다.

server:
  http_listen_port: 9080
  grpc_listen_port: 0

positions:
  filename: /tmp/positions.yaml

clients:
  - url: http://localhost:3100/loki/api/v1/push

scrape_configs:
- job_name: system
  static_configs:
  - targets:
      - localhost
    labels:
      job: varlogs
      __path__: /var/log/*log
      stream: stdout

Grafana 연동 설정

로그를 수집 하기 위한 promtail 설치와 수집된 데이터를 저장 하고 분석 하기 위한 loki 설치가 완료 되었다면 이제 grafana 에서 수집된 로그를 모니터링하기 위한 grafana 모니터링 셋팅을 진행 합니다.

Data Connection 등록

Connection -> Add new Connection 매뉴 선택후 검색창에 loki 를 검색한 후 Connection 연결 설정을 진행 합니다.

DashBoard 작성

대시보드 등록을 통해 promtail 을 통해 수집된 로그를 모니터링 할수있도록 대시보드 셋팅을 진행 합니다.

Label filters 설정 : promtail 설정 파일에 등록한 정보로 선택합니다.
- job 선택 : promtail 에 설정한 job 이름
- varlogs 선택 : promtail 에 설정한 로그 내용
- Line Contails 설정 : systemd 입력