errbot | 伪架构师

ChatBot：在 Slack 中使用监控和告警

Wed, 07 Feb 2018 05:30:24 +0800

前面文章中我们使用 Errbot 通过 Kubernetes API 在 Slack 中进行 Kubernetes 查询。这种方式很局限。毕竟拉更多组件下水，写更多代码才是大势所趋 LOL。本文以 Istio 中的响应时间监控为例，看看 Errbot 和 Prometheus 的互动。

前提

Istio
Prometheus
公网部署
接入 Slack 的 Errbot
Errbot 开放 3141 端口，能够被 Alertmanager 使用。

注意：

这里只是介绍一下这种思路，例子要求比较高，源文件也不会很完整。要投入实际使用，需要更多配合。
选择 Istio 做监控目标，只是因为目前环境方便，并无特殊含义。
Errbot 的 Slack 接入在之前的文章有一些介绍可以参考。

在 Bot 中获取监控指标

Prometheus 提供了很方便的 HTTP API（注 1），简单的使用 HTTP 客户端即可获取。下面的表达式用于从 Istio 中获取响应时间的 p99 指标：

    histogram_quantile(0.99,
    sum(irate(istio_request_duration_bucket[1m]))
    by (source_service, source_version,
    destination_service, destination_version, le))

这里为行文方便，直接硬编码，实际上可以通过查询模板、Bot 参数等方式，获得更灵活的查询。或者更加简单粗暴的，在聊天室向 Bot 提供查询公式直接查询。

下面的代码，会将 Prometheus 中的指标，在 Slack 中以卡片的方式输出到指定聊天室中。

指定一个 query 参数，取值为刚才提到的 Prometheus 查询语句，{"query": prom}的形式进行 URL Encode。
API 指令发出后，Prometheus 会响应一段 JSON 报文，报文的result字段包含一个列表，包含了各个服务的各个版本之间的通信响应时间。
这里使用 Errbot 的 send_card（注 2）功能，通过 Field 方式逐个输出服务记录。
room = self.build_identifier("#bot")，使用 self.build_identifier（注 3）设置发送目标。
代码放入 Errbot 插件之后，私聊窗口输入!restart，重启。会看到 Errbot 发出重启信息之后断线。
等 Errbot 再次在线，在聊天室输入指令!service quality，会看到类似如下的信息回应：

使用 Bot 接收 Prometheus 告警

实际上 Prometheus 的 Alert Manager 提供了到 Slack 的集成，这里纯属演示，绕了个远。

配置 Bot

在聊天室私信中发布命令 !plugin config Webserver {'HOST': '0.0.0.0','PORT': 3141}，要求 Errbot 开放端口启动 Webhook 服务。
同样的使用私信发送命令 !status，查询插件运行状态，可以看到 Webserver 已经启动。

为 Bot 插件加入 Webhook 代码，并重新启动 Bot，这里定义了路径alertmanager用于接受告警，同样使用卡片方式，发送告警信息到bot频道，在卡片中显示告警的相关服务及其版本：

def alertmanager(self, data):
  """Webhook for alerts from Prometheus"""
  target = self.build_identifier("#bot")
  self.send(target, "Alert!!")
  for alert in data['alerts']:
      self.send_card(
          to=target,
          summary='[{}] {}'.format(
              data['status'].upper(),
              data['commonLabels']['alertname']
          ),
          title="Prometheus Alert",
          fields=[('From', alert['annotations']['from']),
                  ('To', alert['annotations']['to'])],
          body=alert['annotations']['summary']
      )

Prometheus 配置

配置 Prometheus 告警规则：

使用前面提到的同一个公式
使用注解来传递应用标签

这里我们配置大于 3 秒钟的耗时发生告警

groups:
- name: fake
rules:
- alert: rules-alert
expr: |
    histogram_quantile(0.99,
    sum(irate(istio_request_duration_bucket[1m]))
    by (source_service, source_version,
    destination_service, destination_version, le)) > 3
for: 1m
labels:
    alertname: "request-duration-3"
annotations:
    summary: "Request duration gt 3"
    from: "{{ $labels.source_service }}:{{ $labels.source_version }}"
    to: "{{ $labels.destination_service }}:{{ $labels.destination_version }}"

配置和重启 Alert Manager，定义使用 Web hook 通知 errbot 发送告警到 Slack：

route:
    receiver: 'webhook'
    group_wait: 30s
    group_interval: 5m
    repeat_interval: 4h
    group_by: ['from', 'to']
    routes:

receivers:
- name: 'webhook'
    webhook_configs:
    - url: "http://errbot.default:3141/alertmanager"

Prometheus 连接到 AlertManager 上，用于发送告警，修改后重启 Prometheus：

alerting:
alertmanagers:
- scheme: http
  static_configs:
  - targets:
    - "alertmanager:9093"

运行

在负载上调用耗时操作，例如持续访问httpbin的/delay/5指令，满足标准后，可以看到，告警的传递线路：

注

https://prometheus.io/docs/prometheus/latest/querying/api/
http://errbot.io/en/latest/errbot.botplugin.html#errbot.botplugin.BotPlugin.send_card
http://errbot.io/en/latest/errbot.botplugin.html#errbot.botplugin.BotPlugin.build_identifier

附录

查询

@botcmd
def service_quality(self, message, args):
url = "http://prometheus-server.kube-system/api/v1/query?"
prom = """
histogram_quantile(0.99,
sum(irate(istio_request_duration_bucket[1m]))
by (source_service, source_version,
destination_service, destination_version, le))
"""
query = {"query": prom}
query = urlencode(query)
f = urllib.request.urlopen(url + query)
resp = f.read()
record_list = json.loads(resp)
room = self.build_identifier("#bot")
field_list = []
for record in record_list["data"]["result"]:
    metric = record["metric"]
    value = record["value"]
    domain = ".svc.cluster.local"
    field = ("From {}:{} to {}:{}".format(
        metric["source_service"].replace(domain, ""),
        metric["source_version"],
        metric["destination_service"].replace(domain, ""),
        metric["destination_version"],
    ), value[-1])
    field_list.append(field)
self.send_card(to=room, body=prom,
               title="Query Statement", summary="From prometheus",
               color="green", fields=field_list)

Errbot 入门（3）

Tue, 23 Jan 2018 21:29:57 +0800

Errbot 入门（3）

通过 Errbot 控制 Kubernetes

前面两篇分别讲了 Errbot 的简单启动和 Slack 的集成。这一篇做个结尾，用 Errbot 来查询 Kubernetes 的状态。

之前使用的 Docker 镜像中，已经集成了 Kubernetes 的 Python 客户端，所以这里只要在 Python 中引用，就可以操作了。

这里实现两个功能，第一个是列出 kubeconfig 文件中的 context，第二个是列出集群 Node 的健康状况。

准备工作

首先在 Errbot 的加载卷目录中新建目录kubeconfig，并在其中放置一个可用的 kubeconfig 文件。例如：

** /usr/local/var/volumes/errbot/kubeconfig/config **

apiVersion: v1
kind: Config
clusters:
- cluster:
    certificate-authority: ca-dummy/ca.pem
    server: https://10.211.55.11:6443
  name: default
users:
- name: default
  user:
    client-certificate: ca-dummy/admin.pem
    client-key: ca-dummy/admin-key.pem
contexts:
- context:
    cluster: default
    user: default
  name: default
current-context: default

当然，要确保 Errbot 到 Kubernetes 的网络连接是有效的。

Context 列表

from errbot import BotPlugin, botcmd, re_botcmd
import re
from kubernetes import config, client


class Kube(BotPlugin):
  @botcmd
  def context_list(self, msg, args):
      """ List all contexts in the kubeconfig file.
      """
      yield("Context in the kubeconfig:")
      for context_name in list_context():
          yield(context_name)


def list_context():
    (context_list, context_current) = config.list_kube_config_contexts(
        "/errbot/kubeconfig/config")
    result = []
    for context in context_list:
        result.append(context["name"])
    return result

import 部分引入了几个常用的 Bot 开发支持库，以及 Kubernetes API 库。

接下来创建新的 Bot 插件 Kube。

@botcmd 修饰其中的方法 context_list，也就是生成了一个 !context list 命令。

注释内容会出现在命令列表的说明中。

内容很简单，调用 kubernetes API 的 config.list_kube_config_contexts 方法，列出其中所有的 context。

yield 在这里用于输出多行数据到聊天室。

使用 !restart 命令重启 Bot 之后，输入 !help 查看我们的插件，会看到列表中多出这样的内容：

Kube
This is a simple plugin example to get you started.
• !context list - List all contexts in the kubeconfig file.

执行 !context list，Bot 读取配置文件，返回了其中的 Context 名称列表：

Context in the kubeconfig:
default

接下来加入列出 Node，并查看健康状态代码

@botcmd(split_args_with=None)
def cluster_health(self, msg, args):
    """Simpler checker nodes, pods and workload controllers.
    """
    if len(args) != 1:
        yield("This command need context name as the only parameter.")
        yield("Here is the context list:")
        for context_name in list_context():
            yield(context_name)
        return

    context_name = args[0]
    api_instance = get_instance(context_name)
    node_list = api_instance.list_node()
    # Node
    yield("Checking Nodes...")
    for node in node_list.items:
        name = node.metadata.name
        status = "NotReady"
        last_condition = node.status.conditions[-1:][0]
        if (last_condition.type == "Ready" and
                last_condition.status == "True"):
            status = "Ready"
        if status != "Ready":
            yield("{} {}\n".format(name, status))

def get_instance(context_name, api_version="core_v1"):
    api_client = config.load_kube_config(
        config_file="/errbot/kubeconfig/config",
        context=context_name)
    api_instance = client.CoreV1Api(api_client)
    return api_instance

@botcmd(split_args_with=None)，这一注解的意思是对聊天内容进行分拆，分拆产生的列表保存在args 之中。

对 Node 的 Status 对象的 Conditions 列表进行解析，如果最后一个状态不是 Ready，则输出不健康 Node。

打完收工

在我们常见的工作场景中，结合各种系统的 API，可以利用 Errbot 在同一个聊天室中做很多操作，例如：

触发 Jenkins 构建
对 ElasticSearch、Zabbix、Prometheus 进行查询
管理 Kubernetes 负载。
等等等等。

实际上除了这两种看起来比较古板的交流方式之外，还有看起来舒服一点的正则表达式匹配方式，然而，目前更大的热点是 AI，有了这种支持，个人觉得就不必挖空心思的琢磨分词和模式的问题了，做好和第三方的链接就可以了。

Errbot 入门（2）

Thu, 18 Jan 2018 00:25:37 +0800

上一篇中，大致理解了一点 Errbot 的基础指令，这里尝试把 Errbot 接入到聊天室之中。

Slack 接入

首先去 Slack 网站注册一个机器人。
注册完成后，会得到一个 Token。

回到 Errbot 的配置文件，下面是一个样例。这里我们设置机器人接收 “@dustise” 这一 ID 的管理，BOT_IDENTITY 写入我们刚刚创建的 Bot 账号的 Token：

import logging

BACKEND = 'Slack'

BOT_DATA_DIR = r'/errbot/data'
BOT_EXTRA_PLUGIN_DIR = r'/errbot/plugins'

BOT_LOG_FILE = r'/errbot/errbot.log'
BOT_LOG_LEVEL = logging.WARNING

BOT_ADMINS = ('@dustise', )  # !! Don't leave that to "@CHANGE_ME" if you connect your errbot to a chat system !!

BOT_IDENTITY = {
    'token': '......',
}

接下来启动机器人，打开 Slack，进入频道，随意@newbot邀请其加入频道，输入!help，就能看到机器人输出的帮助指令了。输入!tryme指令，会看到机器人的回复。

如果使用的是 Errbot 指定的管理账号，可通过私聊的方式为其发送!restart等管理指令。

在聊天室中输入!whoami指令，会看到 Errbot 对当前用户的识别情况。

`@` 指令

! 指令一般用于固定格式的命令，而 @ 也就是 “Mention” 就随意的多了，Errbot 同样提供了这种支持。

在插件的.py文件中加入如下方法：

    def callback_mention(self, message, mentioned_people):
        if self.bot_identifier in mentioned_people:
            self.send(message.frm, 'Errbot has been mentioned !')

在私聊窗口输入 !restart 重新载入 Errbot 之后，在房间中输入 @newbot hello，会看到 Errbot 在私聊窗口中进行了回复。

Errbot 入门（1）

Thu, 11 Jan 2018 12:08:53 +0800

简介

ChatBot，也就是聊天机器人，是近期偷偷热起来的东西之一，个人觉得原因很简单——太多系统需要运维了。

使用 Grafana 可以将各种监控、日志的东西进行跟踪，在同一个 Dashboard 进行展示，但是缺点也比较明显：

Dashboard 需要定制，不够灵活，难于满足突发的个性化需要。
信息是单向流动的，无法进行远程干预。
插件开发需要兼顾前后端，前端漂亮的界面对运维来说，并非必要。

聊天机器人简单说来是一个需要很多二次开发的控制台，这个控制台的不同之处在于，可以和多种聊天室之类的东西进行集成，另外部分产品提供了认证、授权等功能；另外还有不少开源插件，用来同其他系统进行集成。称为机器人，应该说是一个历史遗留，跟 AI 大概有半毛钱的关系吧。

目前最流行的同类产品大概是 Github 的 Hubot，不过个人爱好问题，还是选择了 Python 的 Errbot。官方网站 http://errbot.io/ ，大致功能：

内置多后端支持：
- Slack
- Telegram
- XMPP
- IRC
- HipChat
第三方后端支持：
- Skype
- Gitter
- Cisco Spark
- …
内置访问控制
聊天室支持
输出模板支持
本地存储支持
消息回调功能
Webhook 支持
自带文本终端
…

下面会写一点教程，尝试在 Slack 上，通过 Errbot 来和 Kubernetes 集群进行交互。大概分为三部分：

安装运行和一些基本操作
Slack 的集成
插件编写入门

安装和运行

安装过程还是有点点烦的，所以我做了个 Docker 镜像，源码见后。

镜像已经在 DockerHub 上构建，Tag 为 dustise/errbot-image，简单运行docker run -it --rm dustise/errbot-image，就进入了文本调试界面，如图所示：

输入!help（注意，要输入两次回车）会列出当前支持的命令列表。感叹号是 errbot 的命令前缀。输入!shutdown --confirm，会提示关机字样，errbot 进程退出。

接下来我们将其中的存储卷进行映射：

mkdir -p /var/volume/errbot

docker run -it --rm --name=errbot \
-v /var/volume/errbot:/errbot \
dustise/errbot-image

运行之后，我们可以在宿主机系统上看到 errbot 的 Home 文件夹，其中plugins/err-example中包含了一个样板插件，我们可以查看一下其中的内容：

** err-example.plug**

[Core]
Name = Example
Module = example

[Documentation]
Description = This is a simple plugin example to get you started.

[Python]
Version = 2+

** err-example.py**

from errbot import BotPlugin, botcmd
class Example(BotPlugin):
....
    @botcmd  # flags a command
    def tryme(self, msg, args):  # a command callable with !tryme
        return 'It *works* !'  # This string format is markdown.

字面上看来，这个 Example 中提供了一条叫tryme的命令，我们回到 bot 控制台，输入!tryme看一下结果，会发现系统返回了It works字样。

接下来我们添加一个新的命令，在 err-example.py 中加入：

    @botcmd(split_args_with=None)
    def who_are_you(self, msg, args):
       return "you are " + args[0]

这一个比上面的稍微复杂一些：

botcmd 的 split_args_with 代表拆分参数
函数中的下划线，代表子命令，输入时可以使用!who are you的形式
拆分参数的结果，以数组形式保存在 args 中。

修改存盘之后，使用!restart命令重启 errbot。输入!who are you ali，会看到回显内容：you are ali。

源代码

Dockerfile：

FROM alpine
COPY prepare.sh /usr/local/bin
ENV CLIENT_VER=">=3.0.0,<4.0.0"
RUN /usr/local/bin/prepare.sh
WORKDIR /errbot
VOLUME ["/errbot"]
CMD ["/usr/local/bin/entry.sh"]

prepare.sh：

#!/bin/sh
set -xe
env
apk update
apk upgrade
apk add python3
apk add python3-dev musl-dev gcc libffi-dev openssl-dev
pip3 install errbot
pip3 install "kubernetes$CLIENT_VER"
pip3 install sleekxmpp pyasn1 pyasn1-modules irc hypchat \
  slackclient python-telegram-bot prometheus_client

apk del musl-dev gcc libffi-dev --purge

cat >> /usr/local/bin/entry.sh << EOF
#!/bin/sh
if [ ! -f /errbot/config.py ]; then
    errbot --init
fi
errbot
EOF

chmod a+x /usr/local/bin/entry.sh

errbot | 伪架构师

ChatBot：在 Slack 中使用监控和告警

前提

在 Bot 中获取监控指标

使用 Bot 接收 Prometheus 告警

配置 Bot

Prometheus 配置

运行

注

附录

Errbot 入门（3）

Errbot 入门（3）

通过 Errbot 控制 Kubernetes

准备工作

Context 列表

打完收工

Errbot 入门（2）

Slack 接入

@ 指令

Errbot 入门（1）

简介

安装和运行

源代码

`@` 指令