Grafana 和 Elasticsearch

Wed, 28 Dec 2016 19:56:08 +0800

容器化和微服务，让世界花枝招展，又支离破碎。一个典型的运行在容器云之上的微服务架构的应用，通常是由多种服务和基础设施的支撑而来的。这对运维工作提出一个很大的挑战 —— 一个应用后端的众多系统，究竟是怎样的工作状况？

事实上，所有构成这一应用的微服务以及支撑这一应用的所有基础设施，都会有各自的日志、指标数据，以及构建在上游的监控、日志系统。各处分散的数据和系统，会给支持团队造成极大的负担，也最终成为开发运维工作的拦路虎。

之前的经验中，可以把自家应用的各种业务、技术指标通过 Zabbix 或者 influxDB 进行存储，经由 Grafana 的插件系统进行整合展示，目前流行的容器云支撑系统 Kubernetes，也能够通过 influxDB 在 Grafana 上展示 Heapster 搜集到的数据。指标的事情解决了，下面自然就是日志了。

Grafana 也提供了针对 Elasticsearch 的数据源插件。下面用 Kubernetes 中正在运行的日志收集实例来展示 Grafana 对 ES 的支持。

建立数据源

首先是建立一个 Elasticsearch 类型的数据源。这里使用了一个 Kubernetes 集群的 ES 日志。Type 部分选择 Elasticsearch，然后填写 URL 地址、认证方式。Index name 填写 logstash-*。大致如图所示。

点击下面的 Test & Save，测试成功后完成数据源设置。

Access 一般来说都是选择 Proxy，也就是服务器间通信。

建立指标

接下来进入展示环节。利用新建的 ES 数据源，来建立展示单元。

曲线图

首先建立一个 Graph Panel，数据源选择上面新建的 ES。

Query 一栏需要按照 Lucene 语法进行查询。这里我们选择 kubernetes.container_name: "jenkins"，也就是容器名称为 “jenkins” 的日志项。

其他可以保持缺省即可。

配置结束之后，稍等几秒钟，就会出现数据点。

日志表格

个人感觉上面的的数字在日志来说用处并不大，我们的目的还是在同一界面下查看日志。

建立一个 Table Panel。配置数据源为 ES。Metric 选择 Raw Document。

经过短暂等候，上面表格会出现一堆的 JSON 文本，我们要通过 Options 来进行展现配置。

在 Columns 中我们简单的新加两列：”kubernetes.container_name” 和 “log”，就会以表格的形式把这两列展示出来。

告一段落

至此，Grafana 就成为一个集成了众多来源的运维入口。经过进一步的加工和配置（其实非常大量非常琐碎），仅从这一个入口就能够完成很多的日常巡检任务；更重要的是，因为数据的统一展示，在业务、服务和基础设施之间建立了直观的联系，为事故的处理甚至预测，提供了更多的便利条件。

Grafana 的新瓶，Zabbix 的酒

Fri, 02 Dec 2016 05:16:01 +0800

近期声名鹊起的 Grafana，终于拉了年老色衰的 Zabbix 一把，提供了 Zabbix 数据源插件，让 Zabbix 得以改头换面（画外音：洒家这下有机会上大屏幕了吧？）闲话少叙，言归正传：

安装

这里采用 Docker Hub 中的 Grafana Latest 镜像直接运行 Grafana：

#!/bin/sh
docker run -d -p 3000:3000 \
    --name=grafana \
    -v /var/lib/grafana:/var/lib/grafana \
    -e "GF_SECURITY_ADMIN_PASSWORD=secret" \
    grafana/grafana

这一启动脚本开放主机的 3000 端口作为 Grafana 的服务端口；将本机的 /var/lib/grafana 映射到容器同一目录，用于存储本地数据，admin 密码设置为 “secret”。

下载和启动容器之后，会生成名为 grafana 的容器实例，利用 exec 命令安装插件：

docker exec  grafana grafana-cli plugins install alexanderzobnin-zabbix-app

安装之后，需要重新启动容器来识别插件，可以简单粗暴的使用 docker 的 kill 和 rm 来实现。

完成了重启，就可以在浏览器访问 Grafana 了。使用账号 admin 和之前设置的密码登录系统。

访问菜单 plug-ins --> app，应该会看到 Zabbix 插件，点击 enable 按钮，启用。

配置

数据源

访问主菜单的 Datasource ，添加新的数据源。这里可以设置 Zabbix 为缺省数据源。类型自然是选择新出现的 zabbix 类型了。

注意 URL 部分需要在后面加上 api_jsonrpc.php 作为访问入口。填好用户名密码，其他不变即可。

点击 Save & Test 按钮测试并保存数据源设置。

缺省 Dashboard

随插件自带了两个 Dashboard，在配置好数据源之后，回到 Zabbix 插件的配置页面，点击 Dashboard 右侧的 Re-import 按钮。

新建 Dashboard

选择主菜单中 Dashboard --> New。
新建一个 Graph。点击新的 Graph 对象，在弹出的工具栏中选择 Edit。
这里就出现了选择指标的编辑区
- General 页可以对标题等进行设置
- Metric 页中可以对指标进行管理，例如下图展示了如何新建一个可用内存的指标：

每个 Panel 都可以合并多个 Metrics，在 Dashboard 中也可以对 panel 进行排列组合，达到美观实用的目的。

查看

现在就可以在首页的 Dashboard 中查看系统自带的两个 Dashboard，以及我们新建的 My Dashboard 了。

grafana | 伪架构师