모두의 지식 저장고

• grafana 설치 이후 loki 와 promtail 을 설치 하여 로그를 모니터링 하는 방법에 대해 알아 보겠습니다. 

구성 설명 

• Promtail: 로그를 수집하고 필터링한 후 Loki로 전송하는 로그 수집기.
• Loki: 로그 데이터를 저장하고 검색 쿼리를 처리하는 로그 데이터베이스.
• Grafana: Loki로부터 데이터를 시각화하고 분석하는 대시보드 툴 입니다. .

설치

Loki 설치 

• loki 바이너리를 다운로드 받아 압축해제후 loki 설치 합니다. 

#loki 다운로드 
mkdir loki 
cd loki 
wget https://github.com/grafana/loki/releases/download/v2.9.8/loki-linux-amd64.zip    
unzip loki-linux-amd64.zip


#loki 환경설정 파일 다운로드 
wget https://raw.githubusercontent.com/grafana/loki/main/cmd/loki/loki-local-config.yaml

• loki-local-config.yaml 수정 

auth_enabled: false

server:
  http_listen_port: 3100
  grpc_listen_port: 9096



ingester:
  lifecycler:
    address: 192.168.116.200
    ring:
      kvstore:
        store: inmemory
      replication_factor: 1
    final_sleep: 0s
  chunk_idle_period: 5m
  chunk_retain_period: 30s
  max_transfer_retries: 0

schema_config:
  configs:
    - from: 2018-04-15
      store: boltdb
      object_store: filesystem
      schema: v11
      index:
        prefix: index_
        period: 168h

storage_config:
  boltdb:
    directory: /data/loki/index

  filesystem:
    directory: /data/loki/chunks

limits_config:
  enforce_metric_name: false
  reject_old_samples: true
  reject_old_samples_max_age: 168h

chunk_store_config:
  max_look_back_period: 0s

table_manager:
  retention_deletes_enabled: false
  retention_period: 0s

• loki 실행

nohup ./loki-linux-amd64 -config.file=loki-local-config.yaml   2>&1 &

• 실행 파일 생성 ( loki-startup.sh)

vi loki-startup.sh 
kill -9 $(lsof -t -i:3100) || true
nohup ./loki-linux-amd64 -config.file=loki-local-config.yaml 2>&1 &

Promtail 설치

• Promtail  바이너리를 다운로드 받아 압축 해제후Promtail 설치 합니다. 

mkdir promtail 
cd promtail 

wget https://github.com/grafana/loki/releases/download/v2.8.0/promtail-linux-amd64.zip

unzip promtail-linux-amd64.zip

nohup ./promtail-linux-amd64 -config.file=promtail-config.yaml 2>&1 &

• promtail-local-config.yaml 설정 변경 : 수집할 로그와 위치를 변경 합니다. 
• scrape_configs 는 수집할 로그입니다. 
• 여러개의 job  을 등록 해서 사용할수 있습니다. 

server:
  http_listen_port: 9080
  grpc_listen_port: 0

positions:
  filename: /tmp/positions.yaml

clients:
  - url: http://localhost:3100/loki/api/v1/push

scrape_configs:
- job_name: system
  static_configs:
  - targets:
      - localhost
    labels:
      job: varlogs
      __path__: /var/log/*log
      stream: stdout

Grafana 연동 설정 

• 로그를 수집 하기 위한 promtail 설치와 수집된 데이터를 저장 하고 분석 하기 위한 loki 설치가 완료 되었다면 이제  grafana 에서 수집된 로그를 모니터링하기 위한 grafana  모니터링 셋팅을 진행 합니다. 

Data Connection 등록 

• Connection -> Add new Connection 매뉴 선택후 검색창에 loki 를 검색한 후 Connection 연결 설정을 진행 합니다. 

DashBoard 작성 

• 대시보드 등록을 통해 promtail 을 통해 수집된 로그를 모니터링 할수있도록 대시보드 셋팅을 진행 합니다. 

• Label filters 설정 : promtail 설정 파일에 등록한 정보로 선택합니다.  
  • job 선택 : promtail 에 설정한 job 이름 
  • varlogs 선택 : promtail 에 설정한 로그 내용 
  • Line Contails 설정 : systemd 입력 

• 우측 화면 콤보박스(현재는 Logs ) 를 선택하면 아래와 같은 다양한 형태로 데이터를 시각화 할수 있습니다. 

• 설정이 완료되면 Save 버튼을 눌러서 대시보드를 저장합니다. 

Grafana 란? 

Grafana는 오픈 소스 데이터 시각화 및 모니터링 도구입니다. 주로 다양한 데이터 소스로부터 수집된 데이터를 시각적으로 표현하고 모니터링하는 데 하는 하는 툴입니다.  Grafana를 설치 한후  대시보드를 만들어 다양한 형식의 차트, 그래프, 지표 등을 통해 데이터를 시각화할 수 있습니다.

Grafana 설치 

Grafana 다운로드 

아래경로에서 바이너리를 다운로드 받습니다. 

https://grafana.com/grafana/download

Grafana 설치 

설치및 테스트 환경은 Centos 7.9 입니다. 

sudo yum install -y https://dl.grafana.com/enterprise/release/grafana-enterprise-10.4.2-1.x86_64.rpm

방화벽 포트 해제

• Grafana 는 3000 번 포트를 기본으로 사용하기 때문 방화벽 포트를 해제해 준다. 

firewall-cmd --zone=public --permanent --add-port=3000/tcp
firewall-cmd --reload
firewall-cmd --zone=public --list-all

Grafana 실행 

#grafana 실행
systemctl start grafana-server.service

#grafana 자동 실행 등록
systemctl enable grafana-server.service

#grafana 중지
#systemctl stop grafana-server.service

#grafana 재시작
#systemctl restart grafana-server.service

• grafana Listen 포트 확인

Grafana  접속

• http://[IP]:3000/login
• admin/admin 으로 접속