kibana 可视化

08、kibana可视化：搭建PostgreSQL性能、运行效率监控平台

0. 引言

PostgreSQL作为一款免费、开源、企业级的关系数据库，被越来越多的企业所青睐，上一章我们讲解了如何搭建一个实时监控PostgreSQL慢日志、错误日志的平台，但是针对PostgreSQL的运行性能还无法监控，生产环境中，特别是构建了数据库集群后，我们常常需要了解到各个数据库的运行情况、性能效率等，这样才能为我们数据库优化、性能优化提供更有力的保障

话不多说，今天我们就来搭建一个PostgreSQL性能、运行效率监控平台

1. 下载

我们的平台是基于elasticsearch+kibana来实现的，也就是我们常说的ELK体系。我们采用Metricbeat插件来采集监控postgresql的运行数据。

当然我们这里为了保证搭建的便捷性，并没有使用到Logstash，如果大家有需要的话可以把Metricbeat采集到的数据输出到Logstash

首先关于ELK的搭建就不再累述了，不清楚的同学可以看看往期博客：

ELK搭建（一）：实现分布式微服务日志监控

因为我的ELK环境是7.13.0的，所以我们需要下载对应版本、对应系统的Metricbeat

Metricbeat官方下载地址

2. Metricbeat介绍

metricbeat是elstic官方推出的一款轻量型的采集器，属于beats系列中专门用于各种系统和服务统计的beat。不仅可以统计postgresql等数据，也可以统计redis、nginx、服务器cpu、内存、磁盘等服务的相关指标。

metricbeat定时从服务器中通过抓包的方式获取对应指标数据，然后发送到elasticsearch或者logstash中

metricbeat由两个部分组成：

1、module
所谓module就是针对不同的服务进行采集的模块，比如系统服务就是system module。metricbeat中支持的module有几十种，包括但不仅限于：ActiveMQ module,Apache module,Docker module,HTTP module等，具体可以metricbeat官方文档中的modules部分查看
2、metricset
采集的内容，以postgresql module为例，支持四种指标集：
（1）activity：进程活动指标集，包含客户端、数据库、进程ID、用户等指标

（2）bgwriter：缓存刷新指标集，包含缓冲区、检查点相关指标

（3）database：数据库指标集，包含blocks、冲突、死锁、数据行变化情况等指标

（4）statement：状态指标集，包含查询调用次数、本地内存、共享内存、临时内存、响应时间、执行计划、执行统计等指标

更多关于指标集的介绍可以查看官方文档

3. 安装Metricbeat

1、将安装包上传到服务器上，可以使用FTP软件或者以下指令上传；

scp metricbeat-7.13.0-linux-arm64.tar.gz root@192.168.244.18:/var/local

2、解压压缩包；

tar -zxvf metricbeat-7.13.0-linux-arm64.tar.gz

3、修改配置文件metricbeat.yml中的连接信息；

vim metricbeat.yml

修改内容

setup.template.settings:
## 因为我这里es是单节点，所以设置主分片数为1，副本分片数为0.否则会报黄
  index.number_of_shards: 1
  index.number_of_replicas: 0
output.elasticsearch:
## 你的es所在服务器ip
  hosts: ["192.168.244.11:9200"]
  username: "elastic"
  password: "elastic"
setup.kibana:
## kibana所在服务器ip
  host: "192.168.244.11:5601"

4、启动postgresql模块，metricbeat会根据modules.d/postgresql.yml中的配置项来获取系统数据；

./metricbeat modules enable postgresql

5、配置要采集的内容，修改modules.d/postgresql.yml配置文件；

vim modules.d/postgresql.yml

配置文件内容，这里我们将database、bgwriter、activity的指标都开启，具体可根据自己的需要进行配置

- module: postgresql
  metricsets:
    - database
    - bgwriter
    - activity
  period: 10s
  hosts: ["postgres://localhost:5432?sslmode=disable"]
  username: postgres
  password: postgres

6、加载kibana仪表盘，如果之前已经设置过就不用再执行了；

./metricbeat setup

7、启动metricbeat（如果上述的指令没有自动退出的话，就新开个窗口执行，不要退出上述指令窗口）；

./metricbeat -e

8、在kibana的dev-tool窗口中查询metricbeat-7.13.0索引，能够查询到上述指标集数据表明配置成功；

GET metricbeat-7.13.0/_search

9、 kibana中点击Dashboard，进入仪表盘，输入postgresql，选择Databaseoverview看板点击进入；

10、 同时我们在数据库中进行一些增删改查操作，制造一些数据可以选择查询哪个数据库，不选的话默认全部；

这里看到Query Latency和Top Queries图表是无数据的，这是因为没有开启statement指标集，我们将在最后讲解该指标集

如果查询没有数据的话，检查下右上角的查询时间范围，以及postgresql服务器的的时间是否正确。

4. 使用statement指标集

statement指标集我们在上述的演示中并没有开启，这是因为该指标集需要在postgresql服务器中单独配置pg_stats_statement模块。并且开启该模块会额外占用我们的服务器内存，所以Use it when really need

statement 官方文档

1、在postgresql配置文件中添加；

shared_preload_libraries = 'pg_stat_statements'
pg_stat_statements.max = 10000
pg_stat_statements.track = all

2、重启postgresql（我这里是homebrew安装的，所以采用该指令重启）；

brew services restart postgresql

3、登陆postgresql，执行指令；

CREATE EXTENSION pg_stat_statements;

4、 metricbeatpg配置文件中添加statement坐标集；

- module: postgresql
  metricsets:
    - database
    - bgwriter
    - activity
    - statement
  period: 10s
  hosts: ["postgres://localhost:5432?sslmode=disable"]
  username: postgres
  password: postgres

5、重启metricbeat，查看看板，数据发生了变化；