热搜词

Grafana新手教程-实现仪表盘创建和告警推送

技术分享 2年前 (2023-11-16) 0 999+
关注

前言

最近在使用Grafana的时候，发现Grafana功能比想象中要强大，除了配合Prometheus使用之外，他自身都可以做很多事情，可视化和监控平台，还可以直接根据用户自定义的告警规则完成告警和进行各种通知。于是在深入学习了一段时间之后，整理成此博文。温馨提示，本文约1.3w字，几十张示例图片并且含描述。

一、Grafana介绍

Grafana是一个开源的数据可视化和监控平台，它可以帮助用户通过创建仪表盘和图表来实时监控和分析数据。Grafana支持多种数据源，包括Prometheus、Graphite、InfluxDB、Elasticsearch等，用户可以通过Grafana将这些数据源的数据整合在一起，进行统一的可视化展示和分析。
Grafana提供了丰富的图表类型和插件，用户可以根据自己的需求定制各种图表和仪表盘，以便更直观地了解数据的趋势和变化。此外，Grafana还支持告警功能，用户可以设置告警规则并及时收到通知，以便及时处理问题。
总的来说，Grafana是一个功能强大的数据可视化和监控平台，适用于各种场景，包括IT运维、应用性能监控、工业物联网等领域。它的开源特性也使得用户可以根据自己的需求进行定制和扩展。

二、Grafana仪表盘创建

仪表盘创建有如下三个核心配置点：

  1. 创建数据源；
  2. 创建面板；
  3. 创建仪表盘；

Grafana结合Prometheus和Alertmanager在我之前写的文章中 已经讲解过了，这里就主要写对接MySql直接实现仪表盘创建和告警推送。
Prometheus+Grafana+Alertmanager实现告警推送教程 ----- 图文详解

1.添加数据源

点击data sources -> add new source->搜索mysql->填写mysql的链接信息即可。
Grafana新手教程-实现仪表盘创建和告警推送

Grafana新手教程-实现仪表盘创建和告警推送
Grafana新手教程-实现仪表盘创建和告警推送

2.创建面板

选择首页-》仪表盘-》新建-》填写对应信息即可。
Grafana新手教程-实现仪表盘创建和告警推送
Grafana新手教程-实现仪表盘创建和告警推送
Grafana新手教程-实现仪表盘创建和告警推送

3.创建仪表盘

我们可以在上面的创建的面板中，创建对应的仪表盘，点击添加，即可创建。
Grafana新手教程-实现仪表盘创建和告警推送
对应的主要功能的说明在下列图例汇总，这里就不过多描述了。
Grafana新手教程-实现仪表盘创建和告警推送

这里下列为了方便演示，统一使用如下sql数据进行。

创建的sql和示例数据语句:

-- 创建学生表 CREATE TABLE student (     id INT AUTO_INCREMENT PRIMARY KEY,     birthday_time DATETIME,     NAME VARCHAR(50),     classId INT,     source INT );  -- 插入示例数据 INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-01-01', '张三', 1, 80); INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-02-02', '李四', 2, 75); INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-03-03', '王五', 1, 90); INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-04-04', '赵六', 3, 85); INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-05-05', '小明', 2, 78); INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-06-06', '小红', 1, 92); INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-07-07', '小刚', 3, 87); INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-08-08', '小美', 2, 79); INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-09-09', '小丽', 1, 88); INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-10-10', '小强', 3, 82); INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-11-11', '小雨', 2, 91); INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-12-12', '小霞', 1, 76); INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-01-13', '小风', 3, 83); INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-02-14', '小雪', 2, 89); INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-03-15', '小玲', 1, 84); INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-04-16', '小华', 3, 77); INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-05-17', '小龙', 2, 86); INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-06-18', '小虎', 1, 93); INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-07-19', '小燕', 3, 81); INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-08-20', '小菲', 2, 74);

1.表单-最简单的示例

这里为了方便演示，下列所有的我都是用code模式，也就是直接贴上sql语句。将写好的sql贴上去之后，点击run query，然后选择对应的图表即可显示。

查询的sql

select * from student;

显示的图表
Grafana新手教程-实现仪表盘创建和告警推送

2.表单-柱状图

这里我们也是用一个分词简单易懂的查询来展示吧。

查询的sql

SELECT   UNIX_TIMESTAMP(birthday_time) AS time_sec,   sum(source) AS VALUE,   CONCAT(classId,"班级") AS metric FROM student GROUP BY classId ORDER BY birthday_time ASC

显示的效果
Grafana新手教程-实现仪表盘创建和告警推送

点击suggestions可以切换各种推荐图表
Grafana新手教程-实现仪表盘创建和告警推送

3.折线图

这里我们就统计一下学生的月份生日数量。这里我们需要用$__timeGroup和$__timeFilter函数，它们是Grafana的函数，他们的用法如下:

  • $__timeGroup 函数用于将时间范围分组成特定的时间间隔，例如每分钟、每小时、每天等。这个函数通常用于创建时间序列图表，帮助用户将数据按照时间间隔进行聚合和展示。
  • $__timeFilter 函数用于过滤特定的时间范围，用户可以使用该函数来限制数据的时间范围，例如只显示最近一小时的数据或者只显示某个特定时间段的数据。

除了 $__timeGroup 和 $__timeFilter，Grafana 还提供了其他与时间相关的内置函数，例如:

  • $__timeFrom()：用于指定起始时间，可以指定相对时间（例如“now-1h”表示当前时间的一小时前）或绝对时间（例如“2023-11-14T00:00:00”表示具体的时间点）。
  • $__timeTo()：用于指定结束时间，同样可以指定相对时间或绝对时间。
  • $__timeFilterGroup()：用于根据时间范围过滤数据，并且可以结合其他过滤条件使用。

查询的Sql

SELECT  $__timeGroup(birthday_time, '1M') AS time_sec,             COUNT(id) AS '数量' FROM student   WHERE $__timeFilter(birthday_time) GROUP BY time_sec

对应的示例图:
Grafana新手教程-实现仪表盘创建和告警推送

4.折线图-多条数据

这里我们就根据统计上述的统计在加一条线，比如我这边想看1班的情况。

查询的sql

SELECT  $__timeGroup(birthday_time, '1M') AS time_sec,             COUNT(id) AS '数量',       SUM(classId =1 ) as '1班' FROM student   WHERE $__timeFilter(birthday_time) GROUP BY time_sec

示例图:
Grafana新手教程-实现仪表盘创建和告警推送

5.折线图-过滤筛选单条

根据上述的过程中，我们发现一点问题，上述的查询sql是写死的，那么我们有办法增加一个变量去统计呢，比如上述的数据中我们想查单独看1班的数据或2班的数据。那么这里我们就要用到Grafana的一个变量，他可以自定义变量，还可以设置变量。整体操作如下示例图，相关注释已写。

Grafana新手教程-实现仪表盘创建和告警推送
Grafana新手教程-实现仪表盘创建和告警推送
Grafana新手教程-实现仪表盘创建和告警推送
这里我们还是根据上述的统计来进行改造，这里我们设置一个变量，支持按照班级统计。

对应的查询SQL

SELECT  $__timeGroup(birthday_time, '1M') AS time_sec,             COUNT(id) AS '数量' FROM student   WHERE $__timeFilter(birthday_time) and classId = $class_name  GROUP BY time_sec

Grafana新手教程-实现仪表盘创建和告警推送
Grafana新手教程-实现仪表盘创建和告警推送

6.折线图-过滤筛选多选聚合

上述示例中，我们添加了单条筛选，这里我们来添加多条筛选，以及添加自定义的常量数据来进行
筛选，常量数据配置如下示例图:

Grafana新手教程-实现仪表盘创建和告警推送
这里在顺便说下右边的两个小图标的含义:
Grafana新手教程-实现仪表盘创建和告警推送

查询的SQL如下:

SELECT  $__timeGroup(birthday_time, '1M') AS time_sec,             COUNT(id) AS '数量' FROM student   WHERE $__timeFilter(birthday_time) and classId in ($class_names) GROUP BY time_sec

Grafana新手教程-实现仪表盘创建和告警推送

7.折线图-动态多个数据分组

上述示例中，我们已经完成基本的简单的创建，可以最基本的完成我们想要的图表。
如果我们想要完成更复杂一点的，比如将每个Y轴指标通过页面筛选呈现多条状态数据，并可以根据页面筛选进行数据图表呈现。也就是我根据上述的多选条件，来生成对应的则线图，选择几个就生成几条。

这里的配置会稍微复杂一些。

查询的SQL:

SELECT  $__timeGroup(birthday_time, '1M') AS time_sec,                CAST(classId AS CHAR)  as '班级',       COUNT(classId) AS '数量' FROM student   WHERE $__timeFilter(birthday_time) and classId in ($class_names) GROUP BY classId,time_sec

注: 如果统计的字段类型是整型，需要进行转换，否则会不生效！

这里顺便在说下样式之类的调整，在右边的选项中往下拉，可以对图表进行样式调整，相关说明都在示例图中了。

Grafana新手教程-实现仪表盘创建和告警推送
Grafana新手教程-实现仪表盘创建和告警推送
我们要实现上述的功能，需要用到Transform功能，示例图如下：
Grafana新手教程-实现仪表盘创建和告警推送
Grafana新手教程-实现仪表盘创建和告警推送

最终演示的效果图图如下:
Grafana新手教程-实现仪表盘创建和告警推送

上述的面板的json文件下载地址: https://files.cnblogs.com/files/xuwujing/测试面板-1699947693208.json?t=1699952258&download=true

8.折线图-动态创建多个面板统计

上述的图例中，我们完成了基本的图例创建，这里我们就稍微玩点高级一点点图表，根据下拉多选的数据，自动创建多个面板。

查询sql

SELECT  $__timeGroup(birthday_time, '1M') AS time_sec,                CAST(classId AS CHAR)  as '班级',       COUNT(classId) AS '数量' FROM student   WHERE $__timeFilter(birthday_time) and classId in ($class_names) GROUP BY classId,time_sec

配置基于选择的值进行重复查询并针对变量每个成员应用到新面板.
Grafana新手教程-实现仪表盘创建和告警推送

最终效果图如下:

Grafana新手教程-实现仪表盘创建和告警推送

三、Grafana告警规则配置

Grafana的告警核心配置:

  1. 告警联络点(通知方式，邮件、webhook等)配置；
  2. 告警规则(各个图表的规则)配置；
  3. 告警通知策略（联络点和规则的关联，告警发送频率、静默配置等）配置;

1.告警联络点配置

首先需要明确使用什么方式进行联络，目前使用比较多的是企微、钉钉和飞书，其中除了飞书稍微麻烦一点外，需要一个中转服务，企微和钉钉不需要直接对接即可。

1.1 对接企微/钉钉

Grafana新手教程-实现仪表盘创建和告警推送

对接钉钉和企微毕竟简单，下拉选择钉钉和微信，然后填写对应信息即可。
Grafana新手教程-实现仪表盘创建和告警推送
Grafana新手教程-实现仪表盘创建和告警推送

1.2 对接飞书

对接飞书比较麻烦一点，Grafana并不支持接入飞书，所以需要通过一个中转服务来对Grafana的数据进行转换成飞书需要的数据格式，然后进行告警消息推送。

Grafana新手教程-实现仪表盘创建和告警推送

这里选择webhook，然后填写中转服务的地址，中转服务只需要提供一个对应的接口地址即可，然后次http接口里面需要将接收Grafana请求的数据传输到飞书。

Grafana新手教程-实现仪表盘创建和告警推送

飞书对应的文档链接:
https://www.feishu.cn/hc/zh-CN/articles/807992406756-webhook-触发器
https://open.feishu.cn/document/client-docs/bot-v3/add-custom-bot

中转服务代码示例如下:

 import cn.hutool.core.date.DateUtil; import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONObject; import lombok.extern.slf4j.Slf4j; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.beans.factory.annotation.Value; import org.springframework.http.HttpEntity; import org.springframework.http.HttpHeaders; import org.springframework.http.MediaType; import org.springframework.web.bind.annotation.RequestBody; import org.springframework.web.bind.annotation.RequestMapping; import org.springframework.web.bind.annotation.RestController; import org.springframework.web.client.RestTemplate;  import java.util.HashMap; import java.util.Map;   /**  * @Author pancm  * @Description 飞书告警中转服务  * @Date 2023/9/11  * @Param  * @return  **/ @RestController @RequestMapping("alert") @Slf4j public class AlertController {        @Value("${feishu.webhook-url:https://open.feishu.cn/open-apis/bot/v2/hook/xxxxxxxxxx}")     private String webHookUrl;      @Autowired     private RestTemplate restTemplate;        private String msg = "告警状态: %sn告警标题：%sn告警描述：%sn面板URL：%sn发生时间：%sn负责人： %s ";       @RequestMapping("/webhook/receive")     public void receive(@RequestBody String message) {         log.info("AlertController.receive 获取的Grafana的告警数据:{}", message);         Map<String, Object> m = createMessage(getText(message));         HttpHeaders headers = new HttpHeaders();         headers.setContentType(MediaType.APPLICATION_JSON);         log.info("AlertController.receive 发送飞书的告警内容:{}", m);         restTemplate.postForEntity(webHookUrl, new HttpEntity<>(m, headers), Void.class);     }      /**      * 构建通知报文      *      * @param content      * @return      */     protected Map<String, Object> createMessage(String content) {         Map<String, Object> messageJson = new HashMap<>();         messageJson.put("msg_type", "text");         Map<String, Object> text = new HashMap<>();         text.put("text", content);         messageJson.put("content", text);         Long timestamp = System.currentTimeMillis() / 1000;         messageJson.put("timestamp", timestamp);         return messageJson;     }      /**      * 构建文本内容      *      * @param body      * @return      */     private String getText(String body) {         JSONObject json = JSON.parseObject(body);         JSONObject alertObject = json.getJSONArray("alerts").getJSONObject(0);         String senMsg = String.format(msg,                 getStatusMsg(json.getString("status")),                 json.getString("title"),                 json.getJSONObject("commonAnnotations").getString("description"),                 alertObject.getString("panelURL"),                 DateUtil.now(),                 json.getJSONObject("commonAnnotations").getString("handler")         );         return senMsg;     }      private String getStatusMsg(String msg) {         if ("firing".equals(msg)) {             return "告警产生";         }         return "告警恢复";     } }

2.告警规则配置

告警的规则创建有两种方式

  1. 可以在告警规则面板上面进行规则创建，点击警报-》警报规则;
  2. 也可以在指定监控图表上面创建，点击图表-》edit-》Alert rule;
    创建告警规则，目前的数据源是mysql，因此需要编写sql语法来进行查询，然后配置告警触发条件，然后设置扫描时间，和在某短时间内都触发了就进行告警，还需要配置告警的一些额外信息，告警的主题、描述等等。

直接在对应的仪表盘创建
Grafana新手教程-实现仪表盘创建和告警推送
在告警规则里面创建
Grafana新手教程-实现仪表盘创建和告警推送

3.告警策略配置

主要是将告警联络点和告警规则进行关联匹配。

Grafana新手教程-实现仪表盘创建和告警推送
Grafana新手教程-实现仪表盘创建和告警推送

静默规则配置
注：静默时间的配置，存在时区情况，具体情况请看Grafana配置的时区。

Grafana新手教程-实现仪表盘创建和告警推送

4.一个简单的告警通知示例

这里我们就随便写一个告警sql，让他满足触发告警，比如主要有学生成绩低于90分就进行告警

告警SQL如下

SELECT COUNT(1) AS c FROM student  WHERE  source < 90

配置示例图如下:
Grafana新手教程-实现仪表盘创建和告警推送
Grafana新手教程-实现仪表盘创建和告警推送
Grafana新手教程-实现仪表盘创建和告警推送

最终在飞书群里发送的消息如下:
Grafana新手教程-实现仪表盘创建和告警推送

其他

参考资料

https://grafana.com/docs/grafana/latest/datasources/mysql/#query-editor
https://grafana.com/grafana/plugins/
https://grafana.com/docs/grafana/latest/developers
https://grafana.com/docs/grafana/latest/developers/http_api/dashboard/
https://blog.csdn.net/u014756339/article/details/107816038
https://blog.csdn.net/weixuan_/article/details/131848725
https://zhuanlan.zhihu.com/p/580145725
https://blog.csdn.net/qq_23598037/article/details/99850396
https://docs.aws.amazon.com/zh_cn/grafana/latest/userguide/v9-alerting-explore-labels-matching.html

一首很带感的动漫钢琴曲~

原创不易，如果感觉不错，希望给个推荐！您的支持是我写作的最大动力！
版权声明:
作者：虚无境
博客园出处：http://www.cnblogs.com/xuwujing
CSDN出处：http://blog.csdn.net/qazwsxpcm　　　　
个人博客出处：https://xuwujing.github.io/

发表评论

评论已关闭。

相关文章

.NET 生态系统中 LoongArch 与 RISC-V 的整合深度分析
.NET 生态系统中 LoongArch 与 RISC-V 的整合深度分析
不到80元的E88无刷电机无人机拆解
不到80元的E88无刷电机无人机拆解
C#AI系列(5): 从零开始 C# 轻松语音识别
C#AI系列(5): 从零开始 C# 轻松语音识别
人生第一篇博客：千里之行，始于足下
人生第一篇博客：千里之行，始于足下
洛谷 P11345 [KTSC 2023 R2] 基地简化 题解
洛谷 P11345 [KTSC 2023 R2] 基地简化 题解
从 Spring Boot 2.x 到 3.5.x + JDK21：一次完整的生产环境迁移实战
从 Spring Boot 2.x 到 3.5.x + JDK21：一次完整的生产环境迁移实战
当前内容话题
上一页： GPTs破冰硅基文明社会
  • 0
  • 微