티스토리

JJON's StorY

검색하기

블로그 홈

JJON's StorY

jjon.tistory.com/m

타마마임팩트_쫀 님의 블로그입니다.

구독자: 2

방명록 방문하기

주요 글 목록

prometheus Alert Manager Alert Manager 모니터링 시스템이니, 문제가 발생하면 이를 알람으로 보내주는 역할도 있어야한다. Alertmanager는 Prometheus에서 문제가 발생했다고 생각되는 시점에 slack, hipchat 등을 통해 알람을 보내준다. 알람을 거는 기준은 Rule을 작성해서 load시키는 방식으로 동작하는데 expr: job:request_latency_seconds:mean5m{job="myjob"} > 0.5 와 같이 expression을 작성하는 것으로 알람을 전송할 수 있다. 특정 메트릭의 값이 어느정도 선(threshold)을 넘는다거나, 낮아진다거나 하는 메트릭을 보고 판단을 할 수 있다. 다만, 이 또한 Grafana를 사용하게 된다면 Grafana에서도 동일하게 알람매니저를 제공을 .. 공감수 0 댓글수 0 2021. 7. 22.
prometheus 실행 1. 프로메테우스 실행 > setproxy wget https://github.com/prometheus/prometheus/releases/download/v2.2.1/prometheus-2.2.1.linux-amd64.tar.gz > tar -xzf prometheus-2.2.1.linux-amd64.tar.gz > cd prometheus-2.2.1.linux-amd64/ > vi prometheus.yml prometheus.yml 파일에 scrape_configs 항목 추가 global: scrape_interval: 10s scrape_configs: - job_name: 'prometheus' static_configs: - targets: ['localhost:9090'] > ./ prom.. 공감수 0 댓글수 0 2021. 7. 22.
prometheus TSDB format 용어사전 : chunk : 데이터가 저장되는 단위 tombstone : chunk 파일에서 데이터를 즉시 삭제하는 대신 삭제를 기록 WAL : 서버 재 시작이나 crash로 부터 보호를 위한 log symbol : 시리즈의 레이블 쌍에서 발생한 중복 제거 된 문자열 1. Index Disk Format 다음 각 블록 디렉토리에 있는 index 파일의 형식을 설명합니다 인덱스가 작성 될 때, 위의 줄이 그어진 메인 섹션 사이에 임의의 수의 패딩 바이트가 추가 될 수 있습니다. 파일을 순차적으로 스캔 할 때 섹션의 지정된 길이 뒤에 오는 0 바이트는 건너 뛰어야합니다. 아래에 설명 된 대부분의 섹션은 len필드로 시작 합니다. 항상 후행 CRC32 체크섬 바로 앞의 바이트 수를 지정합니다. 체크섬은 항상 해.. 공감수 0 댓글수 0 2021. 7. 21.
prometheus TSDB 관리 API 고급 사용자를 위해 데이터베이스 관리 기능을 하는 API입니다. 이 API는이 --web.enable-admin-api 설정되어 있지 않으면 사용할 수 없습니다. 1. snapshot snapshot은 현재 모든 데이터의 snapshot을 TSDB의 데이터 디렉터리 아래 snapshots/- 에 만들고 응답으로 디렉터리를 반환합니다. 헤드 블록에만 있고 아직 디스크에 압축되지 않은 스냅 샷 데이터를 선택적으로 건너 뜁니다. POST /api/v1/admin/tsdb/snapshot PUT /api/v1/admin/tsdb/snapshot URL 쿼리 매개 변수 : skip_head= : 헤드 블록에 있는 데이터를 건너 뜁니다. (옵션) $ curl -XPOST http://localhost:9090/ap.. 공감수 0 댓글수 0 2021. 7. 21.
prometheus disk storage 1. 로컬 저장소 (디스크 레이아웃) Prometheus의 로컬 데이터베이스는 시계열 데이터를 디스크에 사용자 지정 형식으로 저장합니다. 수집 된 샘플은 2시간 단위로 그룹화 됩니다. 각 그룹은 해당 기간에 대한 모든 시계열 샘플을 포함하는 하나 이상의 chunk 파일과 메타 데이터 파일 및 측정 항목 이름과 레이블을 chunk 파일의 시계열로 인덱싱 한 인덱스 파일을 포함하는 디렉토리로 구성됩니다. API를 통해 시리즈를 삭제하면 chunk 파일에서 데이터를 즉시 삭제하는 대신 삭제 기록이 별도의 tombstone 파일에 저장됩니다. 현재 수신되는 샘플은 메모리에 보관 되며 완전히 유지되지 않습니다. WAL(write-ahead-log)에 의해 서버 재 시작이나 crash로 부터 보호됩니다. write.. 공감수 0 댓글수 0 2021. 7. 21.
prometheus 데이터 구조 1. TSDB의 읽기 쓰기 일반적인 TSDB 데이터베이스를 살펴 보면 세로 축은 시계열, 가로 축은 타임 스탬프가 있는 sample 시퀀스입니다. Prometheus에는 일반적으로 샘플 데이터가 수백만 개가 있으며 기간은 몇 주 단위입니다. 쓰기 : 짧은 시간에 많은 시계열에 sample을 추가합니다. 일반적으로 쓰기만 사용합니다. 그러나 어느 시점에서 이전 데이터를 자르거나 download 할 수 있습니다. 위 예에서는 빨간 부분의 세로로 사용. 읽기 : 상대적으로 긴 시간 동안 상대적으로 적은 시계열 (가장 일반적으로 하나)에서 sample을 읽습니다. 이는 쓰기 패턴과 정확히 수직이므로 TSDB를 올바르게 설정하기가 어렵습니다. 예외가 있지만 대체로 많은 비용이 드는 쿼리는 시계열에 따른 쿼리입니다.. 공감수 1 댓글수 2 2021. 7. 21.
prometheus 개요 1. 프로메테우스란? Prometheus 는 원래 SoundCloud에 구축 된 오픈 소스 시스템 모니터링 및 경고 툴킷 입니다. 2012 년에 시작된 이래 많은 회사와 조직에서 Prometheus를 채택 했으며 이 프로젝트에는 매우 활동적인 개발자 및 사용자 커뮤니티가 있습니다. 지금은 독립형 오픈소스 프로젝트이며 많은 회사들이 사용 하고 있고, 또한 kubernetes에서도 Prometheus를 사용하여 매트릭 수집 및 대시보드를 구축하는 방식을 장려하고 있습니다. 2. features Prometheus의 주요 기능은 다음과 같습니다. 메트릭 이름 및 키 / 값 쌍으로 식별되는 시계열 데이터가있는 다차원 데이터 모델 이러한 차원을 활용 하는 유연한 쿼리 언어인 PromQL 분산 스토리지에 의존하지 .. 공감수 0 댓글수 0 2021. 7. 21.
Amazon Aurora DB와 mysql 차이점 1. Aurora MySQL 5.7과 MySQL 5.7 비교 다음 기능은 MySQL 5.7.12에서 지원되지만 Aurora MySQL 5.7에서는 현재 지원되지 않습니다. 그룹 복제 플러그인 페이지 크기 증가 시작 시 InnoDB 버퍼 풀 로딩 InnoDB 풀 텍스트 구문 분석기 플러그인 멀티 소스 복제 온라인 버퍼 풀 크기 조정 암호 확인 플러그인 쿼리 다시 쓰기 플러그인 복제 필터링 CREATE TABLESPACE SQL 문 X 프로토콜 2. 빠른 입력 기능 빠른 입력 기능은 기본 키에 의해 정렬되는 병렬 입력을 빠르게 처리해 주며, 특히 LOAD DATA 및 INSERT INTO ... SELECT ... 문 사용 시 유용합니다. 빠른 입력 기능은 SQL 구문을 실행할 때 인덱스 순회에서 커서의 위.. 공감수 0 댓글수 0 2021. 7. 21.
Amazon Aurora 특징 1. 랩 모드 사용 Aurora 랩 모드는 현재 Aurora 데이터베이스 버전에서 사용 가능한 Aurora 기능을 활성화하는 데 사용되지만 기본적으로 비활성화되어 있습니다. 프로덕션 DB 클러스터에서 Aurora 랩 모드 기능을 사용하지 않는 것이 좋지만 개발 및 테스트 환경에서 Aurora 랩 모드를 사용하여 DB 클러스터에 대해 이러한 기능을 활성화할 수 있습니다. aurora_lab_mode 파라미터는 기본 파라미터 그룹에 속하는 인스턴스 수준 파라미터입니다. 기본 파라미터 그룹에서는 이 파라미터가 0(비활성)으로 설정됩니다. Aurora 랩 모드를 활성화하려면 사용자 지정 파라미터 그룹을 생성하고 사용자 지정 파라미터 그룹에서 aurora_lab_mode 파라미터를 1(활성)로 설정한 후, 사용자.. 공감수 0 댓글수 0 2021. 7. 21.
Amazon Aurora 스토리지 1. Aurora 스토리지 개요 Aurora SSD(Solid State Drive)를 사용하는 단일 가상 볼륨인 클러스터 볼륨에 저장됩니다. 클러스터 볼륨은 동일한 AWS 리전에 속한 다중 가용 영역의 데이터 사본으로 구성되어 있습니다. 이러한 가용 영역에서 데이터가 자동으로 복제되기 때문에 데이터 손실 가능성은 줄고 오히려 내구성이 크게 높아집니다. 이러한 복제를 통해 장애 조치 중에도 데이터베이스의 가용성이 높아집니다. 데이터 사본이 이미 나머지 가용 영역에 존재하여 DB 클러스터의 DB 인스턴스에 대한 데이터 요청을 계속 처리할 수 있기 때문입니다. 복제 양은 클러스터의 DB 인스턴스 수와는 관계가 없습니다. 2. 클러스터 볼륨에 포함된 항목 Aurora 클러스터 볼륨에는 모든 사용자 데이터, 스.. 공감수 0 댓글수 0 2021. 7. 21.
Amazon Aurora 정의 1. Aurora 란? Amazon Aurora(Aurora)는 MySQL 및 PostgreSQL과 호환되는 완전 관리형 관계형 데이터베이스 엔진입니다. 기존 MySQL 및 PostgreSQL 데이터베이스에 사용되는 코드, 도구 및 애플리케이션 모두 Aurora에서도 사용할 수 있습니다. 일부 워크로드의 경우 Aurora은 기존 애플리케이션을 거의 변경하지 않고도 MySQL의 처리량을 최대 5배, PostgreSQL의 처리량을 최대 3배 제공할 수 있습니다. Aurora에는 고성능 스토리지 하위시스템이 포함됩니다. MySQL 및 PostgreSQL과 호환되는 데이터베이스 엔진은 빠른 분산형 스토리지를 활용하도록 사용자 지정됩니다. 기본 스토리지는 필요에 따라 자동으로 커집니다. Aurora 클러스터는 최.. 공감수 0 댓글수 0 2021. 7. 21.
Amazon Aurora 정리 (요약) Aurora 란? Amazon Aurora(이하 Aurora)는 MySQL 및 PostgreSQL과 호환되는 완전 관리형 관계형 데이터베이스 엔진 기존 애플리케이션을 거의 변경하지 않고도 MySQL의 처리량을 최대 5배, PostgreSQL의 처리량을 최대 3배 제공 Aurora는 관리형 데이터베이스 서비스 Amazon Relational Database Service(Amazon RDS)의 일부 Aurora DB 클러스터 Aurora DB cluster는 하나 이상의 DB 인스턴스와 데이터를 관리하는 클러스터 볼륨으로 구성 DB 인스턴스 2가지 유형 기본 DB 인스턴스 읽기 및 쓰기 작업을 지원하고, 클러스터 볼륨의 모든 데이터 수정을 실행 Aurora DB 클러스터마다 기본 DB 인스턴스가 하나씩 존.. 공감수 0 댓글수 0 2021. 7. 21.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.