kubernetes事件监控工具–Kube-Event

技术分享 6个月前 (09-26) 0 999+

最近遇到一个很头疼的需求：Kubernetes 集群内部事件的监控与追踪。在日常使用中，总会碰到容器“不经意间”重启的情况，但我完全不知道上次重启是什么时候。容器一旦重启，旧实例就会被销毁，如果旧容器日志没有被收集或转存，就彻底丢失了。这样一来，想通过历史日志排查问题原因就显得非常棘手。

其实，K8s 本身是有事件存储机制的，但它们存在一个 TTL（默认 1 小时）。这意味着如果容器频繁重启，或者事件过了保留时间，你就无法通过事件追溯过去的重启时间。更糟糕的是，当容器多次崩溃重启时，后续的事件可能会覆盖掉前面的问题线索，大大增加了排查难度。

我开始收集网络上的一些现有解决方案，还真找到一个：k8s-event-exporter。

这是一个 GitHub 开源项目，作者的想法是写一个 exporter，监听集群事件并推送到 Loki 存储，然后在 Grafana 上展示，思路非常棒！不过这个项目最后一次提交还是两年前，时间有点久了，但我还是抱着尝试的心理去试用了一下。

然而意外发生了：exporter 拿到的事件并不完整。最初我以为是 K8s 本身的事件逻辑导致的，因为 K8s 对短时间内频繁发生的同一逻辑事件会自动合并（这点合理，可以避免 etcd 存储的重复事件）。但奇怪的是，我发现有些事件本不是同一个事件，exporter 却依然没有正确推送。

Pod 创建过程中的典型事件链路

🗓️ ➤

Scheduled Pod 被调度到节点
📦 ➤

Pulled 镜像拉取完成
🛠️ ➤

Created 容器实例被创建
🚀 ➤

Started 容器启动成功
❤️

Liveness Probe 健康检查开始执行

但实际结果却只有 一个 Pod 事件 成功推送到 Loki，剩下的事件全都丢弃了，提示是“事件过期被丢弃”。最关键的是，我并不知道 exporter 丢弃的到底是不是我想要的事件。所有能调的配置我几乎都试了，可惜还是没能解决，属实出乎我意料 /(ㄒoㄒ)/~~

我的需求其实非常明确： 监听 K8s 集群内的事件，并推送到 Loki。

网上方案里我研究过 k8s-event-exporter、promtail、开启 k8s-auditlog、falco，最后发现只有 exporter 最贴合需求，但它却没能满足我。那怎么办？

👉 不行！那就自己写一个！ 我只需要实现一个功能，应该用不了多少脑子……于是，kube-event 就这样横空出世了

Kube-Event This project is used to assist in monitoring events ... https://github.com/SmallFlames/Kube-Event

一、传统部署方式

需在 K8s Master 节点 部署

# 下载并解压软件 tar xf kube-event.tar.gz && cd kube-event # 修改conf配置文件，主要修改loki的地址，其他几个参数看个人需求吧 vim config.json # 启动服务 ./start.sh # 停止服务 ./stop.sh

二、容器化部署

# 下载镜像 docker pull registry.cn-beijing.aliyuncs.com/nanxi/kube-event:1.0.1

配置清单（kube-event.yaml）参考如下：

apiVersion: v1 kind: ServiceAccount metadata:   name: kube-event-sa   namespace: default --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata:   name: kube-event-reader rules: - apiGroups: [""]   resources: ["events"]   verbs: ["get", "list", "watch"] --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata:   name: kube-event-reader-binding roleRef:   apiGroup: rbac.authorization.k8s.io   kind: ClusterRole   name: kube-event-reader subjects: - kind: ServiceAccount   name: kube-event-sa   namespace: default --- apiVersion: v1 kind: ConfigMap metadata:   name: kube-event-conf data:   config.json: |     {       "LOKI_URL": "http://172.21.0.237:32537/loki/api/v1/push",       "DATA_DIR": "../data/",       "DEDUPLICATE": 0,       "PUSH_INTERVAL_SECONDS": 30,       "ENABLE_DETAILED": false     }   logging.yaml: |     version: 1     disable_existing_loggers: False     formatters:       standard:         format: "%(asctime)s [%(levelname)s] %(name)s:%(lineno)d - %(message)s"       message_only:         format: "%(message)s"     handlers:       console:         class: logging.StreamHandler         level: INFO         formatter: standard         stream: ext://sys.stdout       file:         class: logging.handlers.TimedRotatingFileHandler         level: DEBUG         formatter: standard         filename: ../logs/app.log         when: midnight         backupCount: 7         encoding: utf-8       detailed_console:         class: logging.StreamHandler         level: INFO         formatter: message_only         stream: ext://sys.stdout       detailed_file:         class: logging.handlers.TimedRotatingFileHandler         level: DEBUG         formatter: message_only         filename: ../logs/app.log         when: midnight         backupCount: 7         encoding: utf-8     loggers:       detailed:         level: INFO         handlers: [detailed_console,detailed_file]         propagate: false     root:       level: DEBUG       handlers: [console,file] --- apiVersion: apps/v1 kind: Deployment metadata:   name: kube-event   namespace: default spec:   replicas: 1   selector:     matchLabels:       app: kube-event   template:     metadata:       labels:         app: kube-event     spec:       serviceAccountName: kube-event-sa        containers:       - name: kube-event         image: kube-event:1.0.1         volumeMounts:         - name: conf-volume           mountPath: /app/conf         - name: log-volume           mountPath: /app/logs         - name: catche-data           mountPath: /app/data       volumes:       - name: conf-volume         configMap:           name: kube-event-conf       - name: log-volume         hostPath:           path: /var/log/kube-event/logs           type: DirectoryOrCreate        - name: catche-data         hostPath:           path: /var/log/kube-event/data           type: DirectoryOrCreate