[프로메테우스] - 프로메테우스(Prometheus)

 

 

 

 

 

🧐 프로메테우스 (Prometheus)

애플리케이션에서 발생한 메트릭(지표)를 그 순간만 확인하는 것이 아니라 과거 이력까지 함께 확인하려면 메트릭을 보관하는 데이터베이스가 필요합니다.

또한 메트릭을 지속적으로 수집하고 이를 DB에 저장하는 무언가가 필요합니다.

프로메테우스가 바로 이런 역할을 수행합니다.

 

 

 

 

 

 

 

 

 

 

🧐 그라파나 (Grafana)

프로메테우스가 DB라고 한다면, 이 DB에 있는 데이터를 불러서 사용자가 보기 편하게 보여주는 대시보드가 필요합니다.

그라파나는 데이터를 그래프로 보여주는 툴입니다.

수 많은 그래프를 제공하고, 프로메테우스를 포함한 다양한 데이터소스를 지원합니다.

 

 

 

 

 

 

 

 

 

 

 

 

🧐 프로메테우스와 그라파나를 사용한 모니터링

전체 구조는 다음과 같습니다.

스프링 부트 액추에이터와 마이크로미터를 사용하면 여러 메트릭을 자동으로 생성합니다.

(마이크로미터 프로메테우스 구현체는 프로메테우스가 읽을 수 있는 포멧으로 메트릭을 생성합니다.)

프로메테우스는 이렇게 만들어진 메트릭을 지속해서 수집하고, 수집한 메트릭을 내부 DB에 저장합니다.

사용자는 그라파나 대시보드 툴을 통해 그래프로 편리하게 메트릭을 조회합니다.

이때 필요한 데이터는 프로메테우스를 통해서 조회합니다.

 

 

 

 

 

 

 

 

 

 

 

 

🧐 프로메테우스 설치

프로메테우스 설치 사이트(https://prometheus.io/download/)로 이동합니다.

여기서는 맥 OS 기준으로 설치를 진행하겠습니다.

맥 OS는 darwin을 선택하여 설치합니다.

최신 버전 혹은 LTS 버전 중 아무거나 설치하시면 됩니다.

 

이후 (반드시) 터미널을 통해 프로메테우스가 설치된 경로로 이동합니다.

이후 ./prometheus를 입력합니다.

다음과 같은 오류가 발생할 것입니다.

 

우선 취소를 눌러준 후, 맥북의 시스템 환경설정 -> 개인 정보 보호 및 보안 -> 보안으로 들어갑니다.

 

이후 prometheus 사용을 확인 없이 허용하도록 만들어줍니다.

 

이제 다시 ./prometheus를 실행합니다.

 

이후 http://localhost:9090 으로 접속하면 다음과 같은 화면을 볼 수 있습니다.

 

 

 

 

 

 

 

 

 

 

 

🧐 프로메테우스 연동하기

앞선 설명에서 프로메테우스는 메트릭을 수집하고 보관하는 DB라고 하였습니다.

프로메테우스가 애플리케이션의 메트릭을 수집할 수 있도록 연동하는 방법을 알아보도록 하겠습니다.

다음과 같은 2가지 작업이 필요합니다.

 

 

1. 애플리케이션 설정

프로메테우스가 애플리케이션의 메트릭을 가져갈 수 있도록 애플리케이션에서 프로메테우스 포멧에 맞추어 메트릭 만들기

 

 

2. 프로메테우스 설정

프로메테우스가 우리 애플리케이션의 메트릭을 주기적으로 수집하도록 설정

 

 

 

 

 

 

 

📕 애플리케이션 설정

프로메테우스가 애플리케이션의 메트릭을 가져가려면 프로메테우스가 사용하는 포멧에 맞추어 메트릭을 만들어야 합니다.

다행히도 이 부분은 마이크로미터에서 해결해줍니다.

 

각각의 메트릭들은 내부에서 마이크로미터 표준 방식으로 측정되고 있습니다.

따라서 어떤 구현체를 사용할지 지정만 해주면 됩니다.

 

 

 

⚙️ build.gradle 추가

implementation 'io.micrometer:micrometer-registry-prometheus'

마이크로미터 프로메테우스 구현 라이브러리를 추가합니다.

이렇게 하면 스프링 부트와 액추에이터가 자동으로 마이크로미터 프로메테우스 구현체를 등록해서 동작하도록 설정해줍니다.

액츄에이터에 프로메테우스 메트릭 수집 엔드포인트(/actuator/prometheus)가 자동으로 추가됩니다.

 

애플리케이션을 재실행 시켜 http://localhost:8080/actuator로 들어가면 다음과 같이 prometheus 가 추가된 것을 알 수 있습니다.

 

 

들어가 보면 다음과 같은 화면을 확인할 수 있습니다.

# HELP hikaricp_connections_creation_seconds_max Connection creation time
# TYPE hikaricp_connections_creation_seconds_max gauge
hikaricp_connections_creation_seconds_max{pool="HikariPool-1",} 0.0
# HELP hikaricp_connections_creation_seconds Connection creation time
# TYPE hikaricp_connections_creation_seconds summary
hikaricp_connections_creation_seconds_count{pool="HikariPool-1",} 0.0
hikaricp_connections_creation_seconds_sum{pool="HikariPool-1",} 0.0
...

 

기존 액추에이터에서는 jvm.info 와 같이 .으로 구분되는 반면, 프로메테우스는 . 대신 _를 사용합니다.

즉 jvm.info는 jvm_info가 됩니다.

 

또한 기존 액추에이터에서는 로그 발생 횟수등과 같이 수가 계속해서 누적될 때 statistics가 COUNT로 설정됩니다.

(이를 카운터라고 부릅니다.)

 

프로메테우스는 카운터 메트릭의 마지막에는 _total을 붙입니다.

# HELP logback_events_total Number of log events that were enabled by the effective log level
# TYPE logback_events_total counter
logback_events_total{level="warn",} 0.0
logback_events_total{level="debug",} 0.0
logback_events_total{level="error",} 0.0
logback_events_total{level="trace",} 0.0
logback_events_total{level="info",} 5.0

 

 

 

 

 

 

 

 

 

📙 프로메테우스 설정

이제 프로메테우스가 애플리케이션의 /actuator/prometheus를 호출해서 메트릭을 주기적으로 수집하도록 설정해보겠습니다.

프로메테우스 폴더에 있는 prometheus.yml 파일을 수정하겠습니다.

 

기존 promethues.yml 파일은 다음과 같습니다. (간단히 보기 위해 주석은 제거하였습니다.)

global:
  scrape_interval: 15s 
  evaluation_interval: 15s

alerting:
  alertmanagers:
    - static_configs:
        - targets:
          # - alertmanager:9093

rule_files:
scrape_configs:
  - job_name: "prometheus"
    static_configs:
      - targets: ["localhost:9090"]

 

 

이제 scrape_configs에 다음 부분을 추가해줍니다.

  - job_name: "spring-actuator"
    metrics_path: '/actuator/prometheus'
    scrape_interval: 1s
    static_configs:
      - targets: [ 'localhost:8080' ]

 

 

전체 파일은 다음과 같습니다.

global:
  scrape_interval: 15s
  evaluation_interval: 15s
alerting:
  alertmanagers:
    - static_configs:
        - targets:
          # - alertmanager:9093
          
rule_files:
scrape_configs:
  - job_name: "prometheus"
    static_configs:
      - targets: ["localhost:9090"]

  - job_name: "spring-actuator"  # 아무거나 가능
    metrics_path: '/actuator/prometheus'
    scrape_interval: 1s
    static_configs:
      - targets: [ 'localhost:8080' ]

• job_name: 수집하는 이름입니다. 임의로 설정 가능합니다.
• metrics_path: 수집할 경로를 지정합니다.
• scrape_interval: 수집할 주기를 설정합니다.
• targets: 수집할 서버의 IP, PORT를 지정합니다

이렇게 설정하면 프로메테우스는 다음 경로를 1초에 한번씩 호출해서 애플리케이션의 메트릭들을 수집합니다.

http://localhost:8080/actuator/prometheus

여기서는 예제를 빠르게 확인하기 위해 scrape_interval(수집 주기)을 1s로 설정했지만, 수집 주기의 기본 값은 1m 입니다.
수집 주기가 너무 짧으면 애플리케이션 성능에 영향을 줄 수 있으므로 운영에서는 10s ~ 1m 정도를 권장합니다.
(물론 시스템 상황에 따라서 다릅니다.)

 

 

 

설정이 끝났으면 프로메테우스 서버를 종료하고 다시 실행합니다.

이후 prometheus -> status -> configuration으로 접속합니다.

 

아래와 같이 설정이 제대로 들어와 있는 것을 확인합니다.

 

 

 

status -> Targets를 들어가보면 저희가 설정한 spring-actuator를 확인할 수 있습니다.

 

prometheus는 프로메테우스 자체에서 제공하는 메트릭 정보입니다. (프로메테우스가 프로메테우스 자신의 메트릭을 확인하는 것입니다.)

spring-actuator: 저희가 연동한 애플리케이션 메트릭 정보입니다.

State가 UP으로 되어 있으면 정상, DOWN으로 되어 있으면 연동이 안 된 것입니다.

 

 

 

 

 

 

 

 

 

 

 

 

🧐 프로메테우스 기본 기능

프로메테우스 검색창에 'http_server_requests_seconds_count'를 입력하고 실행해 보겠습니다.

태그와 레이블:
error, exception, instance, job, method, outcome, status, uri는 각각의 메트릭 정보를 구분해서 사용하기 위한 태그입니다.
마이크로미터에서는 이것을 태그(Tag)라고 하고, 프로메테우스에서는 레이블(Label)이라 합니다.
(앞으로는 이 둘을 구분하지 않고 사용하겠습니다.)

숫자: 마지막에 보면 1068이라는 숫자가 보입니다. 이 숫자가 바로 메트릭의 값입니다.

 

 

 

📕 Table, Graph

Table과 Graph라는 탭이 있는 것을 확인할 수 있는데요,

Table에서는 Evaluation time을 수정해서 과거 시간의 메트릭을 조회할 수 있습니다.

Graph는 메트릭을 그래프로 조회하는 기능입니다.

 

 

 

 

📙 필터

레이블을 기준으로 필터를 사용할 수 있습니다.

필터는 중괄호('{}') 문법을 사용합니다.

 

 

🌱 레이블 일치 연산자

'=' : 제공된 문자열과 정확히 동일한 레이블 선택
'!=' : 제공된 문자열과 같지 않은 레이블 선탹
'=~' : 제공된 문자열과 정규식 일치하는 레이블 선택
'!~' : 제공된 문자열과 정규식 일치하지 않는 레이블 선택

 

예시는 다음과 같습니다.

 

uri가 /log인 요청만 확인하고 싶다면 {uri="/log"} 를 사용할 수 있습니다.

 

method가 GET 혹은 POST인 요청은 {method=~" GET|POST"} 를 입력하는 식입니다.

여러 조건을 연결할 때에는, 를 사용할 수 있습니다.

 

 

 

 

 

 

 

📒 연산자 쿼리와 함수

프로메테우스는 다음과 같은 연산자를 지원합니다.

• + : 덧셈
• - : 뺄셈
• * : 곱셈
• / : 나눗셈
• % : 나머지
• ^ : 승수/지수

 

sum

값의 합계를 구하는데 사용합니다.
- sum(http_server_requests_seconds_count)

 

 

 

sum by

그룹화를 시킬 수 있습니다.
- sum by(method, status)(http_server_requests_seconds_count)

 

 

count

메트릭 자체의 개수를 셉니다.

- count(http_server_requests_seconds_count)

 

 

tokp

상위 n개의 메트릭을 조회합니다.

- topk(3, http_server_requests_seconds_count)  ->  상위 3개 메트릭 조회

 

 

 

오프셋 수정자

현재를 기준으로 특정 과거 시점의 데이터를 반환합니다.

- http_server_requests_seconds_count offset 10m

 

 

 

범위 벡터 선택기

마지막에 [1m], [60s]와 같이 표현합니다.

이렇게 설정하면 최근 1분 동안의 모든 데이터를 확인할 수 있습니다.
참고로 범위 벡터 선택기는 차트에 바로 표현할 수 없습니다.
데이터로는 확인할 수 있습니다.
범위 벡터 선택의 결과를 차트에 표현하기 위해서는 약간의 가공이 필요한데, 이후 설명하겠습니다.
- http_server_requests_seconds_count[1m]

 

 

 

 

 

 

 

 

 

🧐 게이지와 카운터

메트릭은 크게 게이지와 카운터로 분류할 수 있습니다.

 

게이지는 임의로 오르내릴 수 있는 값입니다.

예를 들어 CPU 사용향, 메모리 사용량, 사용중인 커넥션 수 등이 있습니다.

 

카운터는 단순하게 증가하는 단일 누적 값입니다.

예를 들어 HTTP 요청 수, 로그 발생 수 등이 있습니다.

게이지는 오르락 내리락 하는 값이고, 카운터는 특정 이벤트가 발생할 때 마다 그 수를 계속 누적하는 값입니다.

 

 

 

 

📕 게이지(Gauge)

게이지는 오르락 내리락 하는 값이며, 현재 상태를 그대로 출력하면 됩니다.

예를 들어 대표적인 게이지인 CPU 사용량(system_cpu_usage)을 확인해 보겠습니다.

CPU 사용량의 현재 상태를 계속 측정하고 그 값을 그대로 그래프에 출력하면 과거부터 지금까지의 CPU 사용량을 확인할 수 있습니다.

게이지은 가장 단순하고 사용하기 쉬운 메트릭입닌다. 크게 고민하지 않고 있는 그대로를 사용하면 됩니다.

 

 

 

 

 

 

📙 카운터(Counter)

카운터는 단순하게 증가하는 단일 누적 값입니다.

예를 들어 고객의 HTTP 요청 수를 떠올려 보면 바로 이해할 수 있습니다.

HTTP 요청 메트릭을 그래프로 확인하면 위와 같습니다.

카운터는 계속 누적해서 증가하는 값이므로 따라서 계속 증가하는 그래프만 보게 될 것입니다.

이렇게 증가만 하는 그래프에서는 특정 시간에 얼마나 고객의 요청이 들어왔는지 한눈에 확인하기 매우 어렵습니다.

이런 문제를 해결하기 위해 increase(), rate()와 같은 함수를 지원합니다.

 

 

 

 

 

 

 

🌱 increase()

increase()를 통해 위해서 발생한 문제를 해결할 수 있습니다.

지정한 시간 단위별로 증가를 확인할 수 있는데요, 마지막에 [시간]을 사용해서 범위 벡터를 선택해야 합니다.

increase(http_server_requests_seconds_count{uri="/log"}[1m])

 

 

 

 

 

 

 

🌱 rate()

범위 벡터에서 초당 평균 증가율을 계산합니다.

• increase() 가 숫자를 직접 카운트한다면, rate()는 여기에 초당 평균을 나누어서 계산합니다.
• increase(data[1m])에서 [1m]이라고 하면 60초가 기준이 되므로 60을 나눈 수입니다.
• increase(data[2m])에서 [2m]이라고 하면 120초가 기준이 되므로 120을 나눈 수입니다.

간단하게 초당 얼마나 증가하는지 나타내는 지표입니다.

 

 

 

 

 

 

 

 

📒 정리

값이 계속 변하는 게이지는 현재 값을 그대로 그래프로 표현하면 되는 반면,

값이 단조롭게 증가하는 카운터는 increase(), rate() 등을 사용해서 표현해야 합니다.

이를 통해 카운터에서 특정 시간에 얼마나 값이 증가했는지 확인할 수 있습니다.

(예를 들어 특정 시간에 고객의 요청이 얼마나 들어왔는지 등)

 

 

더 자세한 내용은 공식 메뉴얼을 참고해주세요

기본기능: https://prometheus.io/docs/prometheus/latest/querying/basics/

연산자: https://prometheus.io/docs/prometheus/latest/querying/operators/

함수: https://prometheus.io/docs/prometheus/latest/querying/functions/

 

 

 

 

프로메테우스로는 한눈에 들어오는 대시보드를 만들기가 어렵습니다.

이 부분은 그라파나를 통해 해결할 수 있습니다.

 

 

 

 

📚 Reference

[스프링 부트 - 핵심 원리와 활용. 섹션 9] - 김영한님